vlambda博客
学习文章列表

MySQL日志模块

redo log日志

MySQL中有一个「WAL」「Write-Ahead-Logging」「预写」技术

先写日志，再写磁盘。当有一条记录需要更新的时候，InnoDB引擎就会先把记录写到redo log里面，并更新内存，这个时候更新计算完成。同时InnoDB引擎会在在系统比较空闲的时候，将这个操作记录更新到磁盘里。

InnoDB 的 redo log 是固定大小的，比如可以配置为一组 4 个文件，每个文件的大小是 1GB。

write pos记录的是当前写的位置，check point记录的当前擦除的位置「擦除记录前要把记录更新到数据文件」有了 redo log，InnoDB 就可以保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力称为「crash-safe」。

binlog日志

Server 层日志，称为「binlog 归档日志」

来源：最开始 MySQL 里并没有 InnoDB 引擎。MySQL 自带的引擎是 MyISAM，但是MyISAM 没有 crash-safe 的能力，binlog 日志只能用于归档。而 InnoDB 是另一个公司以插件形式引入 MySQL 的，既然只依靠 binlog 是没有 crash-safe 能力，所以InnoDB 使用另外一套日志系统——也就是 redo log 来实现 crash-safe 能力。

「与redolog区别：」

1. redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 层实现的，所有引擎都可以使用。

2. redo log 是物理日志，记录的是“在某个数据页上做了什么修改”；binlog 是逻辑日志，记录的是这个语句的原始逻辑，比如“给 ID=1 这一行的 age 字段加 1 ”。

3. redo log 是循环写的，空间固定会用完；binlog 是可以追加写入的。“追加写”是指binlog 文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。

「日志写入过程」：

1. 执行器先找引擎取 ID=1 这一行。ID 是主键，引擎直接用树搜索找到这一行。如果ID=1 这一行所在的数据页本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。

2. 执行器拿到引擎给的行数据，把这个age值加上 1，比如原来是 N，现在就是 N+1，得到新的一行数据，再调用引擎接口写入这行新数据。

3. 引擎将这行新数据更新到内存中，同时将这个「更新操作记录到 redo log」 里面，此时「redo log 处于 prepare 状态」。然后告知执行器执行完成了，随时可以提交事务。

4. 执行器生成这个操作的 binlog，并把 「binlog 写入磁盘」。

5. 执行器调用引擎的提交事务接口，引擎把刚刚写入的 「redo log 改成提交（commit）状态」，更新完成。

图最后三步，将 redo log 的写入拆成了两个步骤：「prepare」 和 commit，这就是「「两阶段提交」」

「为什么要两阶段提交」，保证什么的：

由于 redo log 和 binlog 是两个独立的逻辑，如果不用两阶段提交，要么就是先写完redo log 再写 binlog，或者采用反过来的顺序是会有问题的。

假设当前 ID=1 的行，字段 age 的值是 23，执行 update age+1 语句过程中在写完第一个日志后，第二个日志还没有写完期间发生了 crash，分析以下两种情况。

1. 「先写 redo log 后写 binlog」。假设在 redo log 写完，binlog 还没有写完的时候，MySQL 进程异常重启。因为redo log 写完之后，系统即使崩溃，仍然能够把数据恢复回来，所以恢复后这一行 age 的值是 24。但是由于 binlog 没写完就 crash 了，这时候 binlog 里面就没有记录这个语句。之后备份日志的时候，存起来的 binlog 里面就没有这条语句。如果需要用这个 binlog 来恢复临时库的话，由于这个语句的 binlog 丢失，这个临时库就会少了这一次更新，恢复出来的这一行 age 的值就是 23，与原库的值不同。

2. 「先写 binlog 后写 redo log」。如果在 binlog 写完之后 crash，由于 redo log 还没写，崩溃恢复以后这个事务无效，所以这一行 age 的值是 23。但是 binlog 里面已经记录了“把 age 从 23 改成 24”这个日志。所以，在之后用 binlog 来恢复的时候就多了一个事务出来，恢复出来的这一行 c 的值就是 24，与原库的值不同。

由此看出，如果「不使用」“「两阶段提交」”，那么「数据库的状态就有可能和用它的日志恢复出来的库的状态不一致」。「特别是现在公司在对数据库扩容时候，一般都是全量备份+应用binlog实现的，所以要避免这个问题」

「参数设置」：

redo log 用于保证 crash-safe 能力。「innodb_flush_log_at_trx_commit」 这个参数设置成1 的时候，表示每次事务的 redo log 都直接持久化到磁盘。这个参数建议设置成 1，这样可以保证 MySQL 异常重启之后数据不丢失。「redo log保证事务的持久性」 。

「sync_binlog」 这个参数设置成 1 的时候，表示每次事务的 binlog 都持久化到磁盘。这个参数建议设置成 1，这样可以保证 MySQL 异常重启之后 binlog 不丢失。

References

[1] MySQL45讲: https://time.geekbang.org/column/intro/100020801