Sqoop+Hive+MySQL怎么配置用户某时间范围

这篇文章主要讲解了“Sqoop+Hive+MySQL怎么配置用户某时间范围”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Sqoop+Hive+MySQL怎么配置用户某时间范围”吧!

我们提供的服务有:成都网站制作、成都网站设计、微信公众号开发、网站优化、网站认证、武隆ssl等。为成百上千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的武隆网站制作公司

一、创建配置文件
【1、创建table_env文件,增加如下内容】
执行命令:vi table_env
内容:

此处)折叠或打开

  1. insert overwrite directory '${hivevar:hdfs_path}' ROW FORMAT DELIMITED FIELDS TERMINATED BY '${hivevar:field_term}' select * from (select c.area,p.product_name,

  2.        sum(rn) visit_num,

  3.        row_number()over(partition by c.area order by sum(rn) desc) rn,

  4.         '${hivevar:action_time}' action_time

  5.   from city_info c join (

  6.          select product_id,city_id,count(1) rn from user_click where action_time='${hivevar:action_time}' group by product_id,city_id

  7.        ) u join product_info p

  8.    on c.city_id = case when u.city_id is null then concat('cityid',rand()) else u.city_id end

  9.   and p.product_id = case when u.product_id is null then concat('prodid',rand()) else u.product_id end

  10.  group by c.area,p.product_name) a

  11. where a.rn <= 3;

退出保存(:wq)

【3、创建从Hive导出脚本:创建hive_to_mysql.sh文件,增加如下内容】
执行命令:vi hive_to_mysql.sh
内容:

此处)折叠或打开

  1. create database works DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

1.2、创建表

点击(此处)折叠或打开

  1. --城市表

  2. create table city_info(

  3. city_id int,

  4. city_name varchar(255),

  5. area varchar(255)

  6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

  7.  

  8. --产品表

  9. create table product_info(

  10. product_id int,

  11. product_name varchar(50),

  12. extend_info varchar(100)

  13. )ENGINE=InnoDB DEFAULT CHARSET=utf8;

  14. -- 用户点击表

  15. create table user_click(

  16. user_id int,

  17. session_id varchar(50),

  18. action_time varchar(30),

  19. city_id int(11),

  20. product_id int(11)

  21. )ENGINE=InnoDB DEFAULT CHARSET=utf8;

  22. --统考结果表

  23. create table user_click_rs(

  24. area varchar(50),

  25. product_name varchar(50),

  26. visit_num int(11),

  27. rn int(11),

  28. sdate varchar(10)

  29. )ENGINE=InnoDB DEFAULT CHARSET=utf8;

【2、Hive信息】
创建HIve表

点击(此处)折叠或打开

  1. --用户点击表

  2. create external table user_click(

  3. user_id string,

  4. session_id string,

  5. city_id string,

  6. product_id string

  7. )

  8. partitioned by (action_time string)

  9. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

  10. location '/works/user_click';

  11. --用户点击临时表

  12. create external table tmp_user_click(

  13. user_id string,

  14. session_id string,

  15. action_time string,

  16. city_id string,

  17. product_id string

  18. )

  19. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

  20. location '/works/tmp_user_click';

  21. --城市表

  22. create external table city_info(

  23. city_id int,

  24. city_name string,

  25. area string

  26. )

  27. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

  28. location '/works/city_info';

  29. --产品表

  30. create external table product_info(

  31. product_id int,

  32. product_name string,

  33. extend_info string

  34. )

  35. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

  36. location '/works/product_info';

感谢各位的阅读,以上就是“Sqoop+Hive+MySQL怎么配置用户某时间范围”的内容了,经过本文的学习后,相信大家对Sqoop+Hive+MySQL怎么配置用户某时间范围这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


标题名称:Sqoop+Hive+MySQL怎么配置用户某时间范围
文章地址:http://pwwzsj.com/article/pjpddh.html