spark1.4.1如何配置
这篇文章将为大家详细讲解有关spark1.4.1如何配置,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
成都创新互联是一家集网站建设,秦淮企业网站建设,秦淮品牌网站建设,网站定制,秦淮网站建设报价,网络营销,网络优化,秦淮网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
1.创建脚本
cd /opt/spark-1.4.1-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh cp slaves.template slaves
2.程序加入环境变量
vi spark-env.sh export JAVA_HOME=/opt/jdk1.7.0_75 export SCALA_HOME=/opt/scala-2.11.6 export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop # spark的work目录临时文件自动清理,清理频率每半小时 export SPARK_WORKER_DIR="/home/hadoop/spark/worker/" export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800" vi slaves 填入各节点hostname
3.系统加入环境变量
vi /etc/profile export SPARK_HOME=/opt/spark-1.4.1-bin-hadoop2.6 export PATH=$SPARK_HOME/bin:$PATH
4.启动
cd ../sbin/ ./start-all.sh
5.查看进程是否启动
jps 4211 Master 4367 Worker
6.进入spark的web页面 http://spore:8080/
7.使用spark-shell
cd ../bin/ ./spark-shell
8.sparkUI http://spore:4040
源码阅读,查看spark支持哪些sql关键字:
spark\sql\catalyst\src\main\scala\org\apache\spark\sql\catalyst\SQLParser.scala
spark-sql自定义函数例子
http://colobu.com/2014/12/11/spark-sql-quick-start/
如果要使用bin/spark-sql这个命令
必须启动hive metastore且conf/hive-site.xml内必须要有hive.metastore.uris的配置,例如
hive.metastore.uris thrift://byd0087:9083
启动bin/spark-sql,即可使用hive的HQL语句,速度可比hive快多了
关于“spark1.4.1如何配置”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
标题名称:spark1.4.1如何配置
链接URL:http://pwwzsj.com/article/gssopp.html