如何分析spark-mlib的线性回归-创新互联
如何分析spark-mlib的线性回归,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的上海网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.SQLContext import org.apache.spark.ml.regression.LinearRegression object SparkMlib { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("mlib").setMaster("local") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36))) val cols = Array("x1","x2") val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict") import sqlContext.implicits._ val x = vectors.transform(rdd.toDF("x1","x2","y")) val model = new LinearRegression() //自变量的数据名 .setFeaturesCol("predict") //因变量 .setLabelCol("y") //是否有截距 .setFitIntercept(false) //训练模型 .fit(x) //线性回归的系数 println(model.coefficients) //线性回归的截距 println(model.intercept) //线性回归的自变量的个数 println(model.numFeatures) //上面的feature列 println(model.summary.featuresCol) //r2 println(model.summary.r2) //平均绝对误差 println(model.summary.meanAbsoluteError) //方差 println(model.summary.meanSquaredError) //新的集合x1,x2 预测y val testRdd = context.makeRDD(List((1,3),(2,6),(3,9),(4,12))) //根据上面的模型预测结果 val testSet = vectors.transform(testRdd.toDF("x1","x2")) val pre = model.transform(testSet) pre.show() //println(pre.predictions) } }
关于如何分析spark-mlib的线性回归问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联-成都网站建设公司行业资讯频道了解更多相关知识。
网页名称:如何分析spark-mlib的线性回归-创新互联
文章地址:http://pwwzsj.com/article/ddhhdo.html