千家信息网

怎么通过spark将数据存储到elasticsearch

发表于:2024-10-08 作者:千家信息网编辑
千家信息网最后更新 2024年10月08日,这篇文章主要介绍"怎么通过spark将数据存储到elasticsearch",在日常操作中,相信很多人在怎么通过spark将数据存储到elasticsearch问题上存在疑惑,小编查阅了各式资料,整理
千家信息网最后更新 2024年10月08日怎么通过spark将数据存储到elasticsearch

这篇文章主要介绍"怎么通过spark将数据存储到elasticsearch",在日常操作中,相信很多人在怎么通过spark将数据存储到elasticsearch问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答"怎么通过spark将数据存储到elasticsearch"的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

   maven依赖                    org.elasticsearch            elasticsearch-spark-20_2.11            6.6.0        package hgs.spark.esimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.elasticsearch.spark._import org.apache.spark.sql.SQLContextobject ViaSparkLoadDataToES {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("toEs").setMaster("local")    conf.set("es.resource", "mtest/IT")    conf.set("es.nodes", "bigdata00,bigdata01")    conf.set("es.port", "9200")    val context = new SparkContext(conf)        val sqlContext = new SQLContext(context)            import sqlContext.implicits._         val rdd = context.textFile( "d:\\person",1)    //val jsonrddDF = sqlContext.read.json(rdd)    rdd.saveJsonToEs("mtest/IT")               context.stop()             }   }

到此,关于"怎么通过spark将数据存储到elasticsearch"的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!

0