spark生成表格套用公式是什么
这期内容当中小编将会给大家带来有关spark生成表格套用公式是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站制作、做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的封丘网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
Index | A | B | C | D |
1 | 10 | 2 | 8 | 8 |
2 | 9 | |||
3 | 8 |
简化业务描述后,需求为:
有表格如上,A列及第一行可以直接给出,其余空白字段要求按公式算出。
公式:
1) B[x] = A[x]-1
2) C[x] = A[x] - B[x]
3) D[x] = (C[x]+D[x-1])/2 //(上一行同列+本行前一列)/2
计算后的表格值应为:
Index | A | B | C | D |
1 | 10 | 2 | 8 | 8 |
2 | 9 | 7 | 2 | 5 |
3 | 8 | 4 | 4 | 4.5 |
代码
import org.apache.spark.rdd.RDD import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SparkSession} val schema = StructType( List( StructField("ID", DoubleType, true), StructField( "A", DoubleType, true), StructField( "B", DoubleType, true), StructField( "C", DoubleType, true), StructField( "D", DoubleType, true) ) ) val data1: RDD[Row] = spark.sparkContext.parallelize( Seq( Row(1.0,10.0,2.0,8.0,8.0) ) ) val df1 = spark.createDataFrame(data1, schema) df1.createOrReplaceTempView("df1") val data2: RDD[Row] = spark.sparkContext.parallelize( Seq( Row(1.0,9.0,null,null,null) ) ) val df2 = spark.createDataFrame(data2, schema) df2.createOrReplaceTempView("df2") def func_1(x: Int) = { x - 1 } def func_2(x:Int,y:Int):Int = { x - func_1(y) } def func_3(x:Int,y:Int,z:Int):Int = { (x+func_2(y,z))/2 } spark.udf.register("func_1", func_1 _) spark.udf.register("func_2", func_2 _) spark.udf.register("func_3", func_3 _) spark.sql( """ |select | df2.ID, | df2.A, | func_1(df1.D) as B, | func_2(df2.A,df1.D) as C, | func_3(df1.D,df2.A,df1.D) as D |from df2 inner join df1 on df1.ID = df2.ID | """.stripMargin).show()
上述就是小编为大家分享的spark生成表格套用公式是什么了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。
当前标题:spark生成表格套用公式是什么
分享路径:http://pwwzsj.com/article/pcogeg.html