1. 前言
实际开发、生产场景中会出现,rds 宕机时数据记录未入库导致数据丢失;
误更新、误删除操作导致记录被修改或数据丢失的情况;
对于 mysql 我们可以通过 binlog 找回误删除的数据。
binlog 是 mysql 自带的日志,偏向逻辑性的日志,记录的是对哪个表的哪一行做了更新操作,更新前后的值是什么。
2. binlog 说明
binary logging 是个存储二进制文件,有两种文件类型
索引文件
- 文件名后缀为.index;
- 用于记录哪些日志文件正在被使用
日志文件
- 文件名后缀为.00000*;
- 记录数据库所有的 ddl 和 dml (除了数据查询语句)语句事件
binlog_format 三种日志格式
statement
- 每一条修改数据的 sql 都会记录到 master 的 bin_log 中,slave 在复制的时候 sql 进程会解析成 master 端执行过的相同的 sql 在 slave 库上再次执行
row
- 日志中会记录成每一行数据修改的形式,然后在slave端再对相同的数据进行修改
mixed
- 混合模式,根据实际执行语句选择 statement 和 row 的一种进行执行。
- 比如对于修改表结构该表所有记录都会变更,此时会以 statement 模式记录,而不是所有行记录变更都写入日志。
优点 | 缺点 | |
---|---|---|
statement | 记录执行语句及上下文信息,不记录被语句影响到的每一条数据的信息,日志量较小 | 主从同步可能会存在日志上下文信息不正确导致执行结果不一致的问题 |
row | 记录每一条数据的变化,足够详细,不会出现主从复制数据不一致的问题 | 日志量较大 |
mixed | 混合模式,根据语句执行及 mysql 优化策略选择一种模式记录日志,日志量可控 | 相对 row 模式不够详细 |
通过设置配置文件 my.ini 的 log_bin 属性来开启日志功能,此时对数据库的操作会记录 binlog 日志并写入磁盘文件。
编辑 my.ini 可开启并配置 binlog 策略
# binary logging. # binlog 日志文件路径 log-bin=c:/programdata/mysql/binlogdata # binlog 日志格式 binlog_format=row # binlog 过期清理时间/天 expire_logs_days=90 # binlog 日志文件大小/个 max_binlog_size=100m # binlog 缓存大小 binlog_cache_size=4m max_binlog_cache_size=512m
通过应用程序 mysqlbinlog.exe 可以从日志文件中读取指定时间段的数据库语句变更详细日志。
mysqlbinlog --base64-output=decode-rows -v --database=<数据库名称> --start-datetime="<起始时间>" --stop-datetime="<截至时间>" <日志文件> > <输出文件>
如下所示某时刻的变更详细日志,某数据库在 211129 16:53:31 时刻一条更新操作日志,根据该日志可清晰的指定更新前的数据,依据该日志可恢复记录数据到更新前的数据。
#211129 16:53:31 server id 1 end_log_pos 743 crc32 0xd38b2db6 update_rows: table id 337 flags: stmt_end_f ### update `ecrm_jd`.`xxl_job_user` ### where ### @1=2 ### @2='admin11' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null ### set ### @1=2 ### @2='niaonao' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null
3. binlog 配置是否被开启
查看是否开启 binlog,属性 log_bin 的值为 off 则没开启该功能无法通过本文下面的 biglog 方式恢复数据。
log_bin 的值为 on 则支持恢复数据。
mysql> show variables like 'log_bin%'; +---------------------------------+-------+ | variable_name | value | +---------------------------------+-------+ | log_bin | off | | log_bin_basename | | | log_bin_index | | | log_bin_trust_function_creators | off | | log_bin_use_v1_row_events | off | +---------------------------------+-------+ 5 rows in set (0.01 sec)
4. binlog 配置怎么开启
找到 mysql 的配置文件,配置文件路径 c:\programdata\mysql\mysql server 5.6\my.ini
,只需要把 log-bin
开放后(去除属性前面的 # 注释)重启服务即可,不生效则确认 my.ini 配置无误多次重启后生效。
可指定文件生成路径,默认在相对路径下。此处指定 binlog 文件生成配置 c:\programdata\mysql\binlogdata,日志记录格式配置为 row,单文件最大 100m,三个月清理历史文件。
log-bin 不指定时,默认使用的设置是 log-bin=mysql-bin;binlog_format 默认使用 statement;
# binary logging. # binlog 日志文件 log-bin=c:\programdata\mysql\binlogdata # binlog 日志格式 binlog_format=row # binlog 过期清理时间/天 expire_logs_days=90 # binlog 日志文件大小/个 max_binlog_size=100m # binlog 缓存大小 binlog_cache_size=4m max_binlog_cache_size=512m
重启服务
服务名称就是 mysql56,可通过 win+r,输入 services.msc 查看服务。
ps c:\users\lenovo> net stop mysql56 mysql56 服务正在停止. mysql56 服务已成功停止。 ps c:\users\lenovo> net start mysql56 mysql56 服务正在启动 . mysql56 服务已经启动成功。 ps c:\users\lenovo> mysql -u root -p enter password: **** welcome to the mysql monitor. commands end with ; or \g. your mysql connection id is 1 server version: 5.6.21-log mysql community server (gpl) copyright (c) 2000, 2014, oracle and/or its affiliates. all rights reserved. oracle is a registered trademark of oracle corporation and/or its affiliates. other names may be trademarks of their respective owners. type 'help;' or '\h' for help. type '\c' to clear the current input statement. mysql> show variables like 'log_bin%'; +---------------------------------+---------------------------------------+ | variable_name | value | +---------------------------------+---------------------------------------+ | log_bin | on | | log_bin_basename | c:\programdata\mysql\binlogdata | | log_bin_index | c:\programdata\mysql\binlogdata.index | | log_bin_trust_function_creators | off | | log_bin_use_v1_row_events | off | +---------------------------------+---------------------------------------+ 5 rows in set (0.00 sec)
可以通过 show variables like 'log_bin%'
看到此时配置 log_bin 已开启为 on.
5. 误更新或删除数据
以数据库 ecrm_jd 的用户表 xxl_job_user 演示,更新一条记录,删除两条记录。
再根据 binlog 日志来追踪数据。
mysql> use ecrm_jd; database changed mysql> select * from xxl_job_user; +----+----------+----------------------------------+------+------------+ | id | username | password | role | permission | +----+----------+----------------------------------+------+------------+ | 1 | admin | e10adc3949ba59abbe56e057f20f883e | 1 | null | +----+----------+----------------------------------+------+------------+ 1 row in set (0.00 sec) mysql> insert xxl_job_user(username,password,role) values('admin11', 'e10adc3949ba59abbe56e057f20f883e', 1),('admin12', 'e10adc3949ba59abbe56e057f20f883e', 1),('admin13', 'e10adc3949ba59abbe56e057f20f883e', 0); query ok, 3 rows affected (0.01 sec) records: 3 duplicates: 0 warnings: 0 mysql> select * from xxl_job_user; +----+----------+----------------------------------+------+------------+ | id | username | password | role | permission | +----+----------+----------------------------------+------+------------+ | 1 | admin | e10adc3949ba59abbe56e057f20f883e | 1 | null | | 2 | admin11 | e10adc3949ba59abbe56e057f20f883e | 1 | null | | 3 | admin12 | e10adc3949ba59abbe56e057f20f883e | 1 | null | | 4 | admin13 | e10adc3949ba59abbe56e057f20f883e | 0 | null | +----+----------+----------------------------------+------+------------+ 4 rows in set (0.00 sec) mysql> update xxl_job_user set username = 'niaonao' where id = 2; query ok, 1 row affected (0.00 sec) rows matched: 1 changed: 1 warnings: 0 mysql> delete from xxl_job_user where id in (1,4); query ok, 2 rows affected (0.01 sec) mysql> select * from xxl_job_user; +----+----------+----------------------------------+------+------------+ | id | username | password | role | permission | +----+----------+----------------------------------+------+------------+ | 2 | niaonao | e10adc3949ba59abbe56e057f20f883e | 1 | null | | 3 | admin12 | e10adc3949ba59abbe56e057f20f883e | 1 | null | +----+----------+----------------------------------+------+------------+ 2 rows in set (0.00 sec)
6. binlog 日志跟踪查找被删除的数据
这里是 2021-11-29 16:56 左右修改的,在 c:\programdata\mysql 下找到 <filename>.000003 日志文件。
通过应用程序 mysqlbinlog 查看 binlog。
去安装路径下找到应用程序 ~\mysql server 5.6\bin\mysqlbinlog.exe
win+r 输入 cmd 打开命令行窗口,切换到 mysqlbinlog 所在目录,执行以下命令导出脚本。
mysqlbinlog --base64-output=decode-rows -v --database=<数据库名称> --start-datetime="<起始时间>" --stop-datetime="<截至时间>" <日志文件> > <输出文件>
此处从文件 binlogdata.000003 中解析导出数据库 ecrm_jd 在 2021-11-29 16:50:00 ~ 2021-11-29 17:30:00 时间内的日志,输出到文件 binlog202111291650.sql
c:\program files (x86)\mysql\mysql server 5.6\bin>mysqlbinlog --base64-output=decode-rows -v --database=ecrm_jd --start-datetime="2021-11-29 16:50:00" --stop-datetime="2021-11-29 17:30:00" c:\programdata\mysql\binlogdata.000003 > binlog202111291650.sql
打开文件内容如下:
/*!50530 set @@session.pseudo_slave_mode=1*/; /*!40019 set @@session.max_insert_delayed_threads=0*/; /*!50003 set @old_completion_type=@@completion_type,completion_type=0*/; delimiter /*!*/; # at 4 #211129 15:20:44 server id 1 end_log_pos 120 crc32 0x7b673bd6 start: binlog v 4, server v 5.6.21-log created 211129 15:20:44 at startup # warning: this binlog is either in use or was not closed properly. rollback/*!*/; # at 120 #211129 16:52:19 server id 1 end_log_pos 195 crc32 0xeeb79b0f query thread_id=4 exec_time=0 error_code=0 set timestamp=1638175939/*!*/; set @@session.pseudo_thread_id=4/*!*/; set @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; set @@session.sql_mode=1344274432/*!*/; set @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\c gbk *//*!*/; set @@session.character_set_client=28,@@session.collation_connection=28,@@session.collation_server=33/*!*/; set @@session.lc_time_names=0/*!*/; set @@session.collation_database=default/*!*/; begin /*!*/; # at 195 #211129 16:52:19 server id 1 end_log_pos 263 crc32 0xd1715424 table_map: `ecrm_jd`.`xxl_job_user` mapped to number 337 # at 263 #211129 16:52:19 server id 1 end_log_pos 439 crc32 0x93f08743 write_rows: table id 337 flags: stmt_end_f ### insert into `ecrm_jd`.`xxl_job_user` ### set ### @1=2 ### @2='admin11' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null ### insert into `ecrm_jd`.`xxl_job_user` ### set ### @1=3 ### @2='admin12' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null ### insert into `ecrm_jd`.`xxl_job_user` ### set ### @1=4 ### @2='admin13' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=0 ### @5=null # at 439 #211129 16:52:19 server id 1 end_log_pos 470 crc32 0x48cdfe14 xid = 391 commit/*!*/; # at 470 #211129 16:53:31 server id 1 end_log_pos 545 crc32 0xdc9527f7 query thread_id=4 exec_time=0 error_code=0 set timestamp=1638176011/*!*/; begin /*!*/; # at 545 #211129 16:53:31 server id 1 end_log_pos 613 crc32 0x7b2ee120 table_map: `ecrm_jd`.`xxl_job_user` mapped to number 337 # at 613 #211129 16:53:31 server id 1 end_log_pos 743 crc32 0xd38b2db6 update_rows: table id 337 flags: stmt_end_f ### update `ecrm_jd`.`xxl_job_user` ### where ### @1=2 ### @2='admin11' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null ### set ### @1=2 ### @2='niaonao' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null # at 743 #211129 16:53:31 server id 1 end_log_pos 774 crc32 0x0423f88b xid = 397 commit/*!*/; # at 774 #211129 16:54:21 server id 1 end_log_pos 849 crc32 0x6280ce3c query thread_id=4 exec_time=0 error_code=0 set timestamp=1638176061/*!*/; begin /*!*/; # at 849 #211129 16:54:21 server id 1 end_log_pos 917 crc32 0xd4ee0972 table_map: `ecrm_jd`.`xxl_job_user` mapped to number 337 # at 917 #211129 16:54:21 server id 1 end_log_pos 1044 crc32 0xcc058cef delete_rows: table id 337 flags: stmt_end_f ### delete from `ecrm_jd`.`xxl_job_user` ### where ### @1=1 ### @2='admin' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=1 ### @5=null ### delete from `ecrm_jd`.`xxl_job_user` ### where ### @1=4 ### @2='admin13' ### @3='e10adc3949ba59abbe56e057f20f883e' ### @4=0 ### @5=null # at 1044 #211129 16:54:21 server id 1 end_log_pos 1075 crc32 0x23f55056 xid = 401 commit/*!*/; delimiter ; # end of log file rollback /* added by mysqlbinlog */; /*!50003 set completion_type=@old_completion_type*/; /*!50530 set @@session.pseudo_slave_mode=0*/;
通过程序 mysqlbinlog 恢复的日志中可以查看指定时间段内的数据库操作语句,找到误 update、delete 语句可以看到被删除的记录属性和属性值,依据该日志可恢复该记录。
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。
发表评论