Sqoop如何安装、配置及基础使用
这篇文章给大家分享的是有关Sqoop如何安装、配置及基础使用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名注册、网络空间、营销软件、网站建设、九龙坡网站维护、网站推广。
12. Sqoop
此主题介绍Sqoop的安装、配置及基础使用。
Sqoop基本信息
官网:http://sqoop.apache.org/ 官方文档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
12.1. 安装
wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha ./frameworks/sqoop
12.2. 配置
vi ~/.profile
export SQOOP_HOME=/opt/workspaces/frameworks/sqoop
source ~/.profile
vi ./frameworks/sqoop/conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/workspaces/frameworks/hadoop export HADOOP_MAPRED_HOME=/opt/workspaces/frameworks/hadoop export HIVE_HOME=/opt/workspaces/frameworks/hive
下载MySQL驱动
wget -P ./frameworks/sqoop/lib http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar
12.3. 测试
./frameworks/sqoop/bin/sqoop version
12.4. 使用
从MySQL数据库导入数据
./frameworks/sqoop/bin/sqoop import --connect jdbc:mysql://: /hive \ --username hive --password hive \ --table ROLES \ --where 1=1 \ --hive-import --hive-table hive_role # 如何要启用增量导入需要加上如下参数 --incremental lastmodified --check-column
增量的字段必须是timestamp 或date/datetime |
感谢各位的阅读!关于“Sqoop如何安装、配置及基础使用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
网页名称:Sqoop如何安装、配置及基础使用
转载来于:http://pwwzsj.com/article/jhiihd.html