千家信息网

Spark中怎么实现矩阵相乘操作

发表于:2025-02-21 作者:千家信息网编辑
千家信息网最后更新 2025年02月21日,这篇文章将为大家详细讲解有关Spark中怎么实现矩阵相乘操作,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。1,Pom.xml引入 Spark-Mlli
千家信息网最后更新 2025年02月21日Spark中怎么实现矩阵相乘操作

这篇文章将为大家详细讲解有关Spark中怎么实现矩阵相乘操作,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

1,Pom.xml引入 Spark-Mllib 类库

    org.apache.spark    spark-mllib_2.11    2.3.1    runtime

这里需要注意,因为我们需要使用相关API,所以这里runtime这句要去掉,使用默认的依赖方式就行了

    org.apache.spark    spark-mllib_2.11    runtime

2,代码

public static void main(String[] args) {                SparkConf sparkConf = new SparkConf().setAppName("Mllib-test").setMaster("local");                JavaSparkContext jpc = new JavaSparkContext(sparkConf);                double[][] data = new double[4][4] ;                data[0][0] = 0.0;                data[0][1] = 2.0;                data[0][2] = 3.0;                data[0][3] = 4.0;                                data[1][0] = 1.0;                data[1][1] = 3.0;                data[1][2] = 4.0;                data[1][3] = 5.0;                                data[2][0] = 2.0;                data[2][1] = 4.0;                data[2][2] = 5.0;                data[2][3] = 6.0;                                data[3][0] = 3.0;                data[3][1] = 5.0;                data[3][2] = 6.0;                data[3][3] = 7.0;                                JavaRDD rdd=jpc.parallelize(Arrays.asList(data)).map(f->{                        long key = new Double(f[0]).longValue();                        double[] value = new double[f.length-1];                        for(int i = 1;i  rdd1 = jpc.parallelize(Arrays.asList(data1)).map(f->{                        long key = new Double(f[0]).longValue();                        double[] value = new double[f.length-1];                        for(int i = 1;i

关于Spark中怎么实现矩阵相乘操作就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

0