MySQL5.6迁移到DM8的实现示例_Mysql

注意： mysql 5.7 与 mysql 8.0 的语法有所区别，本文档是将mysql5.6迁移到dm8。

迁移前准备

源库

数据库信息

统计源端业务库要迁移的数据量、字符编码、归档保留等信息。

内容	说明	备注
数据库架构	单机
节点数	1
数据库版本	mysql 5.6.45	select version();
待迁移库	xzkptest
ip 地址/端口	192.168.3.218/3306
服务器运维用户名(密码)	root：xxxxx
数据库用户名(密码)	root：xxxxx
字符集编码	utf-8	show variables like '%character%';
大小写敏感	不敏感	默认是不区分大小写 show variables like 'lower_case_%';
是否以字节为单位	否	varchar类型是以字符为单位进行存储
归档保留策略	/

迁移对象统计

迁移前统计出需要迁移的库中的对象，提前了解迁移数据量、迁移数据对象、迁移数据类型为考虑迁移时长、停机窗口提供依据，统计库中的对象方法如下：

统计指定库中表的数目

select count(*) tables, table_schema from information_schema.tables
where table_schema = 'xzkptest' group by table_schema;

参数说明：
table_schema：数据库名称

输出如下：

统计指定库中视图的数目

select table_schema,count(*) views from information_schema.views  where table_schema  = 'xzkptest'  group by table_schema;

参数说明：
table_schema：数据库名称

输出为空

统计指定库中所有的存储过程

select `name` from mysql.proc where db = 'xzkptest' and `type` = 'function';

参数说明：
db：数据库名称

输出为空

统计指定库中所有的函数

select `name` from mysql.proc where db = 'xzkptest' and `type` = 'function';

参数说明：
db：数据库名称

输出为空

统计指定库中所有的触发器

select trigger_schema ,trigger_name from mysql.triggers where trigger_schema= 'xzkptest';

参数说明：
trigger_schema：数据库名称

输出为空

将指定库中所有表数据量记录到辅助表

select trigger_schema ,trigger_name from  information_schema.triggers where trigger_schema= 'xzkptest';

参数说明：
table_schema：数据库名称

输出为空

目标库

dm 目的端信息

调研项	调研命令
服务器品牌/型号	dmidecode
服务器操作系统	cat /etc/os-release
内存容量	cat /proc/meminfo
cpu 型号/核数	cat /proc/cpuinfo
端口策略	是否与目的端网络、端口互通
安全策略	是否有软件、硬件相关安全限制（比如堡垒机、网闸、文件摆渡）
是否具备可视化界面	可视化提供的方式（直连、xmanager、vnc、bmc 等）
其他	/

初始化参数设置

在安装好达梦数据库后还需要初始实例用于对数据的管理，在初始实例时初始化参数尤为重要。

数据库参数	参数值
db_name（数据库名）	xzspkp
instance_name（实例名）	xzspkp
port_num（端口）	5555
管理员、审计员、安全员密码（安全版本特有）	不推荐使用默认密码
extent_size（簇大小）	16
page_size（页大小）	32 需要特别注意，如果设置过小迁移过程中会提示长度不够的报错
log_size （日志大小）	2048m
charset（字符集）	utf-8（一般是 utf8，根据实际要求设置）
case_sensitive（大小写敏感）	不敏感（一般是不敏感，根据实际要求设置）
blank_pad_mode（尾部空格填充）	否

其中页大小（page_size）、簇大小（extent_size）、大小写敏感（case_sensitive）、字符集（charset）、结尾空格填充（blank_pad_mode）一旦确定无法修改，需谨慎设置。

（1）case_sensitive 大小写是否敏感设置。case_sensitive=1 大小写敏感，包含 2 层意思：

① 表中数据：区分大小写。

② 对象名：对象名区分大小写。

注意

通过管理工具建表时，创建对象时不对对象名加双引号，工具会自动将其转为大写。

mysql 建表默认的字符编码是 utf8_general_ci，所以建议在 mysql 迁移到 dm 时，在达梦端设置成大小写不敏感 case_sensitive=0。如果 mysql 系统中使用的字符编码是 utf8_general_cs，那么建议达梦端设置成大小写敏感 case_sensitive=1。mysql 设置大小写敏感的细粒度可到字段级别，达梦是实例级别的，一旦设置，后续不可修改，最终还需根据实际情况进行权衡后再设置。

（2） mysql 中字符集编码含义：

① utf8_genera_ci：不区分大小写，ci 为 case insensitive 的缩写，即大小写不敏感。

② utf8_general_cs：区分大小写，cs 为 case sensitive 的缩写，即大小写敏感。

更多初始化参数的详细说明可参考达梦数据库安装目录下 doc 目录中的《 dm8_dminit 使用手册》或在数据库运行目录 bin 目录下执行以下命令查看部分初始化参数说明。

./dminit help

兼容性参数设置

参数		备注
compatible_mode	是否兼容其他数据库模式。0：不兼容，1：兼容 sql92 标准 2：兼容 oracle 3：兼容 ms sql server 4：兼容 mysql 5：兼容 dm6 6：兼容 teradata。	select * from v$parameter where name like '%compatible_mode%'; 默认值0，0:none, 1:sql92, 2:oracle, 3:ms sql server, 4:mysql, 5:dm6, 6:teradata, 7:pg
order_by_nulls_flag	控制排序时 null 值返回的位置，取值 0、 1、2。 0 表示 null 值始终在最前面返回； 1 表示 asc 升序排序时 null 值在最后返回， desc 降序排序时 null 值在最前面返回，在参数等于 1 的情况下， null 值的返回与 oracle 保持一致； 2 表示 asc 升序排序时 null 值在最前面返回， desc 降序排序时 null 值在最后返回，在参数等于 2 的情况下， null 值的返回与 mysql 保持一致。	2（兼容 mysql）。
my_strict_tables	是否开启 strict 模式（严格模式），仅在 compatible_mode=4 时有效。0：不开启，数据超长时自动截断；字符类型转换数值类型（包括 int、smallint、tinyint、bigint、dec、float、double）失败时，转换为 0；1：开启，数据超长或计算错误时报错。	建议值：1。
blank_pad_mode（尾部空格填充）	否

创建实例

--df -h查看磁盘，在剩余空间大的目录下创建实例数据目录
mkdir -p /data/dmdb/xzspkp5555
chown -r dmdba:dinstall /data/dmdb/xzspkp5555

--图形化创建实例
/data/dmdbms/tool
./dbca.sh

--更改兼容模式为mysql
vi /opt/dmdb/xzspkp5555/xzspkp/dm.ini
compatible_mode                 = 4               #server compatible mode, 0:none, 1:sql92, 2:oracle, 3:ms sql server, 4:mysql, 5:dm6, 6:teradata, 7:pg

--重启库
systemctl restart dmservicexzspkp.service

--创建表空间dbtest，数据文件为dbtest.dbf。
create tablespace "xzspkp" datafile '/opt/dmdb/xzspkp5555/xzspkp/xzspkp.dbf' size 2048 ;

--更改密码策略
sp_set_para_value(1,'pwd_policy',0); 

--创建用户指定默认表空间  授予常规权限
create user "xzspkp" identified by "xzspkp" default tablespace "xzspkp" default index tablespace "xzspkp";
grant "public","resource","soi","svi","vti" to "xzspkp";

迁移过程

创建迁移

打开 dmdts 迁移工具点击左上方的 3 色小图标新建迁移工程。

打开刚刚创建的工程，右键点击“迁移”，选择“新建迁移”，并自定义迁移名称。

新建迁移完成后点击下一步。

在“其它数据库迁移到达梦”选项中选择迁移方式为 “mysql ==> dm”。

连接数据库

连接源端 mysql 数据库

输入源端 mysql 数据库相关登录信息，在“数据库名”选项中选择需要迁移的数据库。

在创建连接 mysql 数据库时建议通过指定驱动的方式来连接数据库，避免因为驱动版本不适配等问题导致迁移失败。驱动可以在 mysql 官网获取与 mysql 迁移版本相对应的驱动。

连接目的端 dm 数据库

输入目的端 dm 数据库相关登录信息，选择与源端对应的迁移用户连接数据库。

配置迁移对象及策略

对象名大小写

迁移对象方式及迁移策略中勾选“保持对象名大小写”。

数据类型映射

本文档采用场景2：自定义数据类型映射，因为开发要求如下：

根据开发反馈，迁移过程中必须对部分类型mysql转换达梦dm的对应关系做出映射的：

mysql类型达梦dm类型

decimal numeric

longtext clob

datetime timestamp

varchar varchar2

场景1：默认数据类型映射

当勾选了“使用默认数据类型映射关系”后在迁移时 dts 会将源端 mysql 数据库中相应的数据类型采用默认的映射关系映射到目的端 dm 数据库中。如果在这里勾选了“使用默认数据类型映射关系”，后面又自定义了数据类型映射关系，dts 会优先选择使用自定义的数据映射关系。

在“迁移策略”中点击“查看数据类型映射关系”可以查看源端 mysql 到目的端 dm 的数据类型映射关系，包括“源数据类型名”、“源精度”、“源标度”、“目的数据类型名”、“目的精度”等等。

场景2：自定义数据类型映射

勾选源端待迁移的数据库

这里需要勾选源端待迁移的数据库，由于 mysql 端没有模式所以这里模式显示空，并不影响迁移。在 mysql 数据库连接阶段指定了连接的数据库，所以这里只显示了一条信息。

在指定模式阶段，用户可以通过“源模式”选择源端要迁移的库，通过“目的模式”来指定源端要迁移到 dm 的模式，通过是否勾选“创建模式”、“表”、“视图”、“存储过程/函数”、“触发器”来指定目的端 dm 是否要迁入源端 mysql 中的这些对象。由于在 dm 数据库准备阶段已经提前将 xzspkp 模式创建好了，所以这里就不勾选“创建模式”。