我要评论1.二进制日志
1.1 概述
作用：二进制日志(binary log)以二进制格式存储，记录所有修改数据库数据的sql语句(如insert、update、delete)或事件(如表结构变更)
核心功能：
- 主从复制：主库通过二进制日志将数据变更同步到从库
- 数据恢复：配合mysql 自带的二进制日志解析工具mysqlbinlog，可将二进制日志转换为 sql 语句并执行
配置：
系统级配置：使用vim 编辑器编辑mysql的配置文件(vim /etc/mysql/my.cnf)，永久生效
会话级配置：在命令行客户端中设置变量session sql_log_bin，仅本次连接生效
-- 1 -> 开启 -- 0 -> 关闭 mysql> set session sql_log_bin = [1 | 0]; mysql> show variables like '%sql_log_bin%'; +---------------+-------+ | variable_name | value | +---------------+-------+ | sql_log_bin | on | +---------------+-------+
1.2 磁盘文件
- 二进制日志文件名由 基本名 + 数字扩展名 组成，每生称新的文件时数字扩展名递增，从而保证有序的文件序列。当发生以下情况时会生成新的日志文件：
- 服务器重启
- 在命令行客户端刷新日志
日志文件的大小达到 max_binlog_size设置的上线(默认值1gb)
可以使用reset master重置日志文件和索引文件为初始状态
1.3 过期时间
在配置文件my.cnf中配置日志文件的过期时间，默认为2592000秒(30天)，过期后会自动删除
#mysql服务器配置 [mysqld] #二进制日志过期时间 binlog_expire_logs_seconds=2592000
查看系统变量
mysql> show variables like '%binlog_expire_logs_seconds%'; +----------------------------+---------+ | variable_name | value | +----------------------------+---------+ | binlog_expire_logs_seconds | 2592000 | +----------------------------+---------+
1.4 日志格式
statement：记录的是 sql 语句本身，即实际执行的 sql 语句- 优点：仅记录 sql 语句，占用空间少
- 缺点：某些情况下可能导致主从数据不一致，例如使用非确定性函数(如 now() 或 rand() )时，主从服务器执行结果可能不同
row：记录的是每一行数据的变更情况，即具体哪些行被修改以及修改后的值- 优点：数据一致性高，避免了非确定性函数的问题，适用于复杂的复制场景
- 缺点：日志文件较大，尤其是批量操作时，会记录大量行变更信息
mixed：结合了statement和row格式的优点。默认情况下使用statement格式记录，但在某些可能导致不一致的场景下自动切换为row格式- 优点：平衡了日志大小和数据一致性
- 缺点：仍需注意某些特殊情况下可能存在的一致性问题
推荐使用row格式
1.5 刷盘策略
binlog日志文件的刷盘策略可以通过sync_binlog系统变量来设置
- sync_binlog=0：由操作系统决定刷盘时机。性能最高，但宕机时可能丢失较多binlog数据
- sync_binlog=1(推荐)：每次事务提交时都会刷盘，确保binlog不丢失。安全性最高，但性能较低
- sync_binlog=n(n>1)：每n次事务提交后刷盘一次。平衡性能与安全性
1.6 mysqlbinlog工具
简介：mysqlbinlog是mysql自带的二进制日志解析工具，用于查看和管理mysql的二进制日志文件(binlog)主要功能：
- 查看二进制日志内容：将二进制日志转换为可读的文本格式
- 过滤日志事件：按时间、位置或数据库名筛选特定日志记录
- 生成sql脚本：将日志内容还原为sql语句，用于数据恢复
- 远程解析：支持解析远程mysql服务器的二进制日志
- postion：每条日志都以 # at 开始，后⾯的数字表示该条日志记录的事件在文件中的偏移量
- timestamp：事件发生的时间戳
- server id：服务器标识
- end_log_pos：下一个事件在文件中的偏移量(等于当前事件的结束偏移量+1)
- type：事件类型(query)
- thread_id：执行事件的线程id
- exec_time：执行事件花费的时间
- error_code：错误码(0表示没有错误)
1.6.1 准备数据
-- 建库 drop database if exists testdb; create database testdb character set utf8mb4 collate utf8mb4_0900_ai_ci; use testdb -- 建表 create table t1 ( id bigint not null, name varchar(20) not null ); -- 写⼊ insert into t1 (id, name) values (101, 'user101'); insert into t1 (id, name) values (102, 'user102'); insert into t1 (id, name) values (103, 'user103'); insert into t1 (id, name) values (104, 'user104'); insert into t1 (id, name) values (105, 'user105'); insert into t1 (id, name) values (106, 'user106'); -- 更新 update t1 set name = 'person101' where id = 101; update t1 set name = 'person102' where id = 102; update t1 set name = 'person103' where id = 103; -- 删除 delete from t1 where id = 104; delete from t1 where id = 105; delete from t1 where id = 106;
1.6.2 查看binlog
mysqlbinlog --no-defaults --database=testdb --base64-output=decode-rows -vv --start-position=421 --stop-position=4626 binlog.000001
- no-defaults：禁止读取默认配置文件(如my.cnf)，确保命令执行不受配置文件参数干扰
- database：限定只显示与指定数据库相关的日志记录，过滤其他库的操作
- base64-output=decode-rows：对二进制日志中的行事件(row格式日志)进行base64解码，否则这类事件会以base64编码形式显示
- vv：双倍详细模式(verbose level 2)，输出最完整的日志信息
- start-position：从二进制日志文件的指定位置开始解析
- stop-position：在二进制日志文件的指定位置停止解析
1.6.3 数据恢复
- 删除数据库
drop database testdb;
- 通过日志文件恢复数据
mysqlbinlog --no-defaults --skip-gtids=true --start-position=234 --stop-position=4470 binlog.000001 | mysql -uroot -p -h127.0.0.1 -p3306
2.数据备份与恢复
2.1 分类
2.1.1 按数据存储形式划分
逻辑备份：备份数据库的逻辑结构和数据内容(如sql语句、导出文件)，与物理存储无关。例如mysql的mysqldump
- 备份文件中包含sql语句，稍加修改就可以在不同数据库系统上执行
- 可以备份整个数据库或特定的数据库对象(使用
database关键字创建的对象) - 备份和恢复的速度比物理备份慢
- 物理备份：直接复制数据库的物理文件(如数据文件、日志文件)。这种备份方法不涉及数据库的逻辑结构，而是直接在文件系统层面上复制数据库的存储结构(相当于windows系统的ctrl + c)
- 通常不能跨数据库厂商进行备份与恢复
- 可以非常快速地备份和恢复大型数据库，因为不需要解析sql语句，直接复制文件即可
2.1.2 按数据库运行状态划分
- 冷备份(离线备份)：需停止数据库服务后备份，备份过程中数据库服务不可用
- 影响业务连续性
- 技术实现较简单，不需要考虑数据一致性和并发控制
- 不会对数据库性能产生影响
- 热备份(在线备份)：在数据库运行时进行备份，备份过程中数据库服务依然可用
- 备份数据是系统当前最新的
- 不影响业务连续性
- 在高负载情况下，可能对数据库性能产生一定影响
- 技术实现复杂，需要考虑数据一致性和并发控制
- 温备份：介于冷备份和热备份之间的一种备份方式，数据库在备份过程中部分可用或者处于只读模式
- 业务中断时间较少
2.1.3 按备份数据范围划分
全量备份：备份整个数据库或文件系统的所有数据，包括所有的文件、数据库表和配置文件等。不依赖于其他备份，可用独立恢复数据
增量备份：仅备份自上次备份后变化的数据块
差异备份：仅备份自上次全量备份以来所有变化的数据
2.2 mysqldump
2.2.1 工具介绍
作用：它是mysql数据库系统提供的命令行工具，用于逻辑备份和数据导出。它生成包含sql语句的文本文件，可用于重建数据库结构和数据核心功能：
- 备份数据库：导出表结构、数据、存储过程、触发器等
- 恢复数据：通过导入sql文件恢复数据库状态
- 跨版本兼容：导出的sql文件可在不同mysql版本间迁移
2.2.2 示例
- 创建目录
mkdir /backup/mysql
- 导出
mysqldump -uroot -p -h127.0.0.1 -p3306 -b testdb > /backup/mysql/dump.sql
查看导出的sql文件
cat /backup/mysql/dump.sql
- 删除数据库
drop database testdb;
- 导入数据
- 在命令行通过mysql客户端工具直接恢复
mysql -uroot -p < /backup/mysql/dump.sql
- 登录mysql客户端导入sql文件
source /backup/mysql/dump.sql
- 在命令行通过mysql客户端工具直接恢复
- 查看数据
mysql> use testdb; database changed mysql> select * from t1; +-----+-----------+ | id | name | +-----+-----------+ | 101 | person101 | | 102 | person102 | | 103 | person103 | +-----+-----------+
2.2.3 数据一致性问题
- mysqldump备份数据时的执行流程如下
- 连接数据库
- 收集需要备份的数据
- 对所有待备份表加读锁
- 生成数据插入语句
- 释放锁
- 备份过程中可能会产生数据一致性问题
- mysqldump在备份时默认情况下不会回滚未提交的事务，因此备份可能包含未提交的事务中的数据更改
- 如果在加读锁后发生事务回滚，备份结果备份可能包含部分事务的中间状态
解决办法：使用--single-transaction，在事务中备份，使用mvcc获取一致性视图
2.3 mysqlimport
2.3.1 工具介绍
作用：它是mysql数据库系统提供的命令行工具，用于高效地将文本文件数据导入到数据库表中。它是load data infile语句的封装，适用于批量数据加载场景核心功能：
- 快速导入：直接读取文件并加载到表，跳过sql解析环节，性能优于逐行insert
2.3.2 示例
- 查看mysql允许导出的授权目录
mysql> show variables like 'secure_file_priv'; +------------------+-----------------------+ | variable_name | value | +------------------+-----------------------+ | secure_file_priv | /var/lib/mysql-files/ | +------------------+-----------------------+
- 导出
select * from t1 into outfile '/var/lib/mysql-files/t1.txt';
查看导出的文本文件
- 删除数据表
delete from t1;
- 导入
mysqlimport -uroot -p testdb /var/lib/mysql-files/t1.txt
mysql> select * from t1; +-----+-----------+ | id | name | +-----+-----------+ | 101 | person101 | | 102 | person102 | | 103 | person103 | +-----+-----------+
- 查看数据
2.4 xtrabackup
2.4.1 工具介绍
作用：xtrabackup 是由 percona 开发的一款开源mysql数据库备份工具。它通过热备份实现高性能的数据库备份与恢复，适用于大规模生产环境核心功能：
- 热备份：在不中断数据库服务的情况下进行备份
- 压缩与加密：支持备份文件的压缩和加密，提升安全性和存储效率
- 快速可靠：备份速度快且可靠，同时会对备份的数据进行自动校验，确保备份数据的完整性
- 性能影响小：在备份过程中，xtrabackup对数据库的性能影响较小，不会增加太多的性能压力
版本选择：
查看linux系统版本
查看mysql版本
- xtrabackup 2.4：支持 mysql 5.1、5.5、5.6 和 5.7，但不支持 mysql 8.0
- xtrabackup 8.0：专为 mysql 8.0 设计，但早期版本(如 8.0.12)不支持 mysql 8.0.20 及以上版本
- 若使用 mysql 8.0.20 及以上版本，建议选择 xtrabackup 8.0.27-19 或更高版本
查看cpu架构
安装软件源
- 把在windows系统上下载完毕的percona-xtrabackup-80_8.0.35-34-1.noble_amd64.deb文件上传至linux服务器
- 安装软件源
# 安装软件源 dpkg -i percona-xtrabackup-80_8.0.35-34-1.noble_amd64.deb # 更新源 apt update # 安装xtrabackup apt install percona-xtrabackup-80 # 如果提示缺少依赖运行以下命令安装 apt-get install -f # 更新源 apt update # 安装xtrabackup apt install percona-xtrabackup-80
验证是否安装成功
2.4.2 示例
创建备份用户
mysql> create user 'backup_user'@'localhost' identified with mysql_native_password by '123456aa@@'; query ok, 0 rows affected (0.00 sec) mysql> grant backup_admin,process,select,reload,lock tables,replication client,event on *.* to 'backup_user'@'localhost'; query ok, 0 rows affected (0.00 sec)
- 默认情况下密码策略要求密码包含大小写字母、数字和特殊字符
- 查看需要备份的目录
备份数据文件
xtrabackup --defaults-file=/etc/mysql/my.cnf --host=localhost --port=3306 --user=backup_user --password=123456aa@@ --use-memory=1g --parallel=2 --backup --target-dir=/backup/mysql/full
移动或删除原来的的数据目录
创建数据目录同名的空目录
- xtrabackup --prepare 命令用于将备份数据转换为可恢复的数据库状态。该步骤对物理备份文件执行事务日志回放和回滚未提交事务，确保数据文件的一致性
- 数据恢复
# 准备 xtrabackup --prepare --target-dir=/backup/mysql/full # 数据恢复 xtrabackup --defaults-file=/etc/mysql/my.cnf --copy-back --parallel=2 --target-dir=/backup/mysql/full
为恢复后的数据目录授权
chown -r mysql:mysql /var/lib/mysql
重启mysql服务
systemctl restart mysql
登录数据库验证数据
mysql> use testdb; no connection. trying to reconnect... connection id: 8 current database: *** none *** reading table information for completion of table and column names you can turn off this feature to get a quicker startup with -a database changed mysql> select * from t1; +-----+-----------+ | id | name | +-----+-----------+ | 101 | person101 | | 102 | person102 | | 103 | person103 | +-----+-----------+
到此这篇关于mysql核心日志与备份恢复示例详解的文章就介绍到这了,更多相关mysql日志与备份恢复内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网！
发表评论