银行数据库迁移至MySQL,竟被时间字段这玩意耍了……
作者介绍
农行研发中心“数风云”团队,一支朝气蓬勃、快速成长的技术团队,始终致力于农行大数据、数据库和云计算等领域的应用实践与技术创新,探索数据赋能,勇攀数据云巅,为企业数字化转型和金融科技发展不断贡献力量。
笔者在工作中曾遇到SyBase数据库迁移至MySQL时的一个问题:使用bcp将SyBase中的数据导出为csv文件时,datetime数据类型默认导出格式与MySQL不兼容。Sybase默认的datetime类型格式为Mmm dd yyyy hh:nn:ss:sssAA,示例如下:
Dec 24 2017 12:00:00:000PM
而MySQL中datetime类型格式为yyyy-mm-dd hh:nn:ss,示例如下:
2017-12-24 12:00:00
因此直接将csv文件导入MySQL会由于不兼容导致报错。
解决此问题的方式不外乎两种:一是修改导出后的csv文件,令其时间字段的数据格式兼容MySQL;二是修改SyBase数据库中时间字段的数据格式,使其直接能通过bcp导出兼容MySQL的csv文件。鉴于第一种方法较为复杂,本文笔者采用第二种方法解决该问题。
convert()函数是SyBase数据库中用于数据类型转换的函数,其使用方式如下:
convert(datatype,expression,[format-style])
datatype:必选参数,将要转换成的数据类型;
expression:必选参数,待转换的字段;
-
format-style:可选参数,转换时间类型时,决定输出格式的参数,对应关系见下表:
format-style的值 |
输出格式 |
输出示例 |
100 |
Mmm dd yyyy hh:nnAA |
Dec 24 2017 12:00PM |
101 |
mm/dd/yyyy |
12/24/2017 |
102 |
yyyy.mm.dd |
2017.12.24 |
103 |
dd/mm/yyyy |
24/12/2017 |
104 |
dd.mm.yyyy |
24.12.2017 |
105 |
dd-mm-yyyy |
24-12-2017 |
106 |
dd Mmm yyyy |
24 Dec 2017 |
107 |
Mmm dd,yyyy |
Dec 24,2017 |
108 |
hh:nn:ss |
12:00:00 |
109 |
Mmm dd yyyy hh:nn:ss:sssAA |
Dec 24 2017 12:00:00:000PM |
110 |
mm-dd-yyyy |
12-24-2017 |
111 |
yyyy/mm/dd |
2017/12/24 |
112 |
yyyymmdd |
20171224 |
例如有一个名为test的表,将该表中一个名为changetime,类型为datetime的字段转换为varchar类型,可以使用如下SQL语句:
select convert(varchar(100),changetime,111) as dates from test;
若该字段仅有一行数据,其值为Dec 24 2017 12:00:00:000PM,那么以上SQL输出的结果为2017/12/24.
str_replace()参数用于替换字符串中的部分字符,其使用方式如下:
str_replace(‘string1’,’string2’,’string3’)
参数含义:
string1:必选参数,原始字符串;
string2:必选参数,待转换的字符;
string3:必选参数,需要转换成的字符;
例如以下SQL:
select str_replace(‘2017/12/24’,’/’,’-’);
其输出结果为2017-12-24.
由以上示例可见,若将SyBase中datetime类型字段使用convert()函数转换为varchar类型,format-style的值指定为111,再使用str_replace()函数,将convert()转换来的字符串中的’/’转换为’-’,即可满足MySQL中对datetime类型的格式要求(yyyy-mm-dd);同理,format-style的值指定为108,即可满足hh:nn:ss的格式要求。具体的实施方案举例说明如下:
1)在SyBase数据库建立一张临时表tmp,表结构与待导出数据的表test一致,仅datetime类型字段改为varchar类型;表结构见以下SQL语句:
create table test(id int,time datetime);
create table tmp(id int,time varchar(100));
2)采用如下SQL语句将原始表的数据存入临时表中:
insert into tmp select id,str_replace(convert(varchar(100),time,111),'/','-')
+' '+convert(varchar(100),time,108) from test;
3)将临时表tmp中的数据使用bcp命令导出为csv文件;
4)将csv文件中的数据导入MySQL数据库对应表中。
至此,解决了SyBase中datetime类型字段默认导出格式与MySQL不兼容的问题。