spark简单例子
一、统计指定索引的每个值有多少个:
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的平桥网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");
var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}
var result=pairRdd.reduceByKey((sum,x)=>sum+x)
result.collect.foreach(println)
二、统计数据列数
var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");
var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}
var result=pairRdd.reduceByKey((sum,x)=>sum+x)
result.collect.foreach(println)
网页标题:spark简单例子
标题来源:http://pwwzsj.com/article/jghjhe.html