Mysql百万量级数据如何高效导入Redis
MySQL百万量级数据如何高效导入redis,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
在五莲等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供做网站、网站建设 网站设计制作按需定制网站,公司网站建设,企业网站建设,成都品牌网站建设,成都全网营销推广,成都外贸网站制作,五莲网站建设费用合理。
传统命令的缺点
数据导入Redis热身
采用nc命令导入数据
采用pipe模式导入数据
由上图,可以看到pipe命令的返回结果,txt文件中有多少行命令,返回的replies数就是多少, errors表示其中执行错误的命令条数。
redis协议学习
协议的格式为:
*<参数数量> \r
$<参数
1 的字节数量> \r
<参数
1 的数据> \r
...
$<参数 N 的字节数量> \r
<参数 N 的数据> \r\n
HSET id book1 book_description1
*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r
格式化一下:
*4\r
$4\r
HSET\r
$2\r
idvvvv\r
$5\r
book1\r
$17\r
book_description1\r\n
将输入数据源换成mysql
实际案例--从Mysql导入百万级数据到Redis
首先造数据
DELIMITER $$
USE `cb_mon`$$
DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<= 1000000
DO
INSERT INTO t_book(id,number,NAME,descrition)
VALUES (i, CONCAT("00000",i) , CONCAT('book',i)
, CONCAT('book_description',i));
SET i=i+1;
END WHILE ;
COMMIT;
END$$
DELIMITER ;调用存储过程
CALL test_insert();
按协议构造查询语句
SELECT
CONCAT(
"*4\r\n",
"$",
LENGTH(redis_cmd),
"\r\n",
redis_cmd,
"\r\n",
"$",
LENGTH(redis_key),
"\r\n",
redis_key,
"\r\n",
"$",
LENGTH(hkey),
"\r\n",
hkey,
"\r\n",
"$",
LENGTH(hval),
"\r\n",
hval,
"\r"
)
FROM
(SELECT
"HSET" AS redis_cmd,
id AS redis_key,
NAME AS hkey,
descrition AS hval
FROM
cb_mon.t_book
) AS t limit 1000000
并将内容保存至redis.sql 文件中。
编写脚本使用pipe模式导入redis
编写shell脚本。由于我在主机上是通过docker安装的redis和mysql,以下脚本供参考:
#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`
docker exec -i
899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i
4c90ef506acd redis-cli --pipe
endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);
echo
"脚本执行耗时:"$((end_seconds-start_seconds))"s"
lost connection to mysql server during query
总结了如下几点:
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。
网站栏目:Mysql百万量级数据如何高效导入Redis
新闻来源:http://pwwzsj.com/article/ihgdoo.html