怎么通过spark将数据存储到elasticsearch-创新互联
这篇文章主要介绍“怎么通过spark将数据存储到elasticsearch”,在日常操作中,相信很多人在怎么通过spark将数据存储到elasticsearch问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么通过spark将数据存储到elasticsearch”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
成都创新互联公司长期为上1000+客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为贵州企业提供专业的网站设计制作、做网站,贵州网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。maven依赖package hgs.spark.es import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.elasticsearch.spark._ import org.apache.spark.sql.SQLContext object ViaSparkLoadDataToES { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("toEs").setMaster("local") conf.set("es.resource", "mtest/IT") conf.set("es.nodes", "bigdata00,bigdata01") conf.set("es.port", "9200") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) import sqlContext.implicits._ val rdd = context.textFile( "d:\\person",1) //val jsonrddDF = sqlContext.read.json(rdd) rdd.saveJsonToEs("mtest/IT") context.stop() } } org.elasticsearch elasticsearch-spark-20_2.11 6.6.0
到此,关于“怎么通过spark将数据存储到elasticsearch”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联-成都网站建设公司网站,小编会继续努力为大家带来更多实用的文章!
当前名称:怎么通过spark将数据存储到elasticsearch-创新互联
当前地址:http://pwwzsj.com/article/dcsoso.html