记一次从oracle到hive的历史数据迁移(一)
介绍一下具体场景
网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、成都小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了万载免费建站欢迎大家使用!
需要从现有在用的oracle中将历史数据迁移出来并导入到hive中,存在几个问题:1、现有oracle数据库在使用无法整个库导出,数据库服务器没有权限;2、由于各个数据提供方的各次升级,oracle数据库采取添加字段而不删除字段的方式更新,而hive中建立的表数据结构要按新的来,也就是说oracle导出的数据到hive表中需要做字段对应。
决定先将oracle导入到另一个oracle中,将oracle中表字段和hive中的表字段进行比对得到各个的对应关系,之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入。
从一个oracle到另一个oracle导入的方案,利用大神写出的sqluldr2 工具用来导出数据,导入利用
sqlldr 命令导入到另一个库表中。
导出的具体命令
sqluldr2.bin user=root/pwd@tnsname query="select /*+ parallel(8) */ * from table " head=no File=/data/oracle/tmp/file 导出到本地目录
导入的具体命令
sqlldr root/pwd@@ip:1521/tnsname control=/data/oracle/shell/xxx.ctl
data=/data/oracle/tmp/file
log=/data/oracle/log/file.log errors=0 rows=100000 bindsize=1024000000 direct=y;
xxx.ctl 是用来指定导入表的字段和分割符如下写法
load data
truncate into table tablename
Fields terminated by ',' #文件的列分隔符
TRAILING NULLCOLS
(
IP char(255),
APPKEY char(255),
PLATFORM char(255),
PORTAL char(255),
COMPANYID char(255) )
当前文章:记一次从oracle到hive的历史数据迁移(一)
URL标题:http://pwwzsj.com/article/jhochc.html