vlambda博客
学习文章列表

（给ImportNew加星标，提高Java技能）

来源：侠梦的开发日记/黄云权 （本文来自作者投稿）

前言

传统命令的缺点

数据导入Redis热身

采用nc命令导入数据

采用pipe模式导入数据

由上图，可以看到pipe命令的返回结果，txt文件中有多少行命令，返回的replies数就是多少， errors表示其中执行错误的命令条数。

redis协议学习

协议的格式为：

*<参数数量>  \r\n
$<参数 1 的字节数量>  \r\n
<参数 1 的数据> \r\n
...
$<参数 N 的字节数量> \r\n
<参数 N 的数据> \r\n

HSET  id  book1  book_description1 

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n

格式化一下：

*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\n

将输入数据源换成mysql

实际案例--从Mysql导入百万级数据到Redis

首先造数据

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

        DECLARE i INT DEFAULT 1;
        WHILE i<= 1000000
            DO
 INSERT INTO t_book(id,number,NAME,descrition)
 VALUES (i, CONCAT("00000",i) , CONCAT('book',i)
 , CONCAT('book_description',i));
            SET i=i+1;
        END WHILE ;
        COMMIT;
    END$$

DELIMITER ;
 
   
   
 

  
    
    
  

 
   
   
 
 
   
   
 

  
    
    
  调用存储过程
  
    
    
  

 
   
   
 

CALL test_insert();

按协议构造查询语句

SELECT
 CONCAT(
 "*4\r\n",
 "$",
 LENGTH(redis_cmd),
 "\r\n",
 redis_cmd,
 "\r\n",
 "$",
 LENGTH(redis_key),
 "\r\n",
 redis_key,
 "\r\n",
 "$",
 LENGTH(hkey),
 "\r\n",
 hkey,
 "\r\n",
 "$",
 LENGTH(hval),
 "\r\n",
 hval,
 "\r"
 )
FROM
 (SELECT
 "HSET" AS redis_cmd,
 id AS redis_key,
 NAME AS hkey,
 descrition AS hval
 FROM
 cb_mon.t_book
 ) AS t limit 1000000

并将内容保存至redis.sql 文件中。

编写脚本使用pipe模式导入redis

编写shell脚本。由于我在主机上是通过docker安装的redis和mysql，以下脚本供参考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo "脚本执行耗时："$((end_seconds-start_seconds))"s"

lost connection to mysql server during query

总结

看完本文有收获？请转发分享给更多人

关注「ImportNew」，提升Java技能

好文章，我在看❤️