datax环境部署和管理教程
这篇文章主要介绍“datax环境部署和管理教程”,在日常操作中,相信很多人在datax环境部署和管理教程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”datax环境部署和管理教程”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
建网站原本是网站策划师、网络程序员、网页设计师等,应用各种网络程序开发技术和网页设计技术配合操作的协同工作。创新互联专业提供做网站、成都做网站,网页设计,网站制作(企业站、响应式网站开发、电商门户网站)等服务,从网站深度策划、搜索引擎友好度优化到用户体验的提升,我们力求做到极致!
datax环境部署和管理
前期环境准备
python环境搭建 jdk环境搭建
搭建python环境
下载python 选择版本为Python 2.7.12 》 Gzipped source tarball
https://www.python.org/downloads/source/
解压python包,并执行./configure进行编译
make
make install
上面操作命令执行完毕,Python 会安装在 /usr/local/bin 目录中
输入python验证是否安装成功
搭建jdk环境
省略
部署datax环境
下载datax
https://github.com/alibaba/DataX
解压
进入job目录下参照官网验证增加stream2stream.json文件 》 从stream读取数据并打印到控制台
stream2stream.json内容如下
{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "column": [ { "type": "long", "value": "10" }, { "type": "string", "value": "hello,你好,世界-DataX" } ] } }, "writer": { "name": "streamwriter", "parameter": { "encoding": "UTF-8", "print": true } } } ], "setting": { "speed": { "channel": 5 } } } }
切换到datax 所在的bin目录,执行
[root@localhost bin]# python datax.py ../job/stream2stream.json
部署datax-web环境
可参照官网
下载地址
https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg cpsk
上面文件解压之后
建议先手动创建datax-web数据库,并初始化datax-web-2.1.2/bin/db/datax_web.sql
进入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手动更改dbc相关信息
进入datax-web-2.1.2 执行 ./bin/install.sh,默认选择Y,执行MySQL初始化步骤跳过
进入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要调整datax.py目录
## PYTHON脚本执行位置 #PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py PYTHON_PATH=/usr/local/datax/bin/datax.py
上面成功之后, 进入datax-web-2.1.2 执行./bin/start-all.sh启动相关服务
访问地址为 http://{ip}}:9527/index.html
关于启动日志查看
1、datax-web-2.1.2/modules/datax-executor/bin/console.out 2、datax-web-2.1.2/modules/datax-admin/bin/console.out
到此,关于“datax环境部署和管理教程”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
分享名称:datax环境部署和管理教程
URL分享:http://pwwzsj.com/article/jpogdh.html