怎么进行Sparkexample的运行过程分析-创新互联
这篇文章将为大家详细讲解有关怎么进行Spark example的运行过程分析,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
创新互联主要从事网站设计制作、成都网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务叶县,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220pom.xml
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
4.0.0 active spark-test 0.0.1-SNAPSHOT org.apache.spark spark-core_2.10 2.1.0
SparkTest.java
import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
public class SparkTest {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD
file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds")); JavaRDD
words = file.flatMap(s -> Arrays.asList(s.split(" |\t|\n|\r")).iterator()); JavaPairRDD
counts = words.mapToPair(s -> new Tuple2 (s, 1)); counts = counts.reduceByKey((x, y) -> x + y);
System.out.println(counts.collect());
sc.close();
}
}
可以单独运行,也可以提交到spark集群: spark-submit.cmd --class SparkTest D:\workspace\spark-test\target\spark-test-0.0.1-SNAPSHOT.jar
关于怎么进行Spark example的运行过程分析就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
文章标题:怎么进行Sparkexample的运行过程分析-创新互联
文章来源:http://pwwzsj.com/article/cooejh.html