网站导航
> 文章列表 > MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）

MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）

网友: 文章列表 2024-03-22 05:23:02

MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）

MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）

  • 一、MySQL支持的日志有哪些？
    • 1. 日志类型总结
    • 2. 日志有什么缺点吗？
  • 二、通用查询日志（slow query log）
  • 三、错误日志（error log）
  • 四、二进制日志（bin log）
    • 1. 概述
    • 2.binlog写入机制
    • 3. binlog和redolog有什么区别？
    • 4. 怎么保证binlog 和 redolog 一致性（两阶段提交）
  • 五、中继日志（relay log）

一、MySQL支持的日志有哪些？

MySQL有不同类型的日志文件，用来存储不同类型的日志，分为二进制日志、错误日志、通用查询日志和慢查询日志，这也是常用的4种。MySQL 8又新增两种支持的日志：中继日志和数据定义语句日志。使用这些日志文件，可以查看MySQL内部发生的事情。

1. 日志类型总结

  • 慢查询日志：记录所有执行时间超过long_query_time的所有查询，方便我们对查询进行优化。
  • 通用查询日志：记录所有连接的起始时间和终止时间，以及连接发送给数据库服务器的所有指令，对我们复
    原操作的实际场景、发现问题，甚至是对数据库操作的审计都有很大的帮助。
  • 错误日志：记录MySQL服务的启动、运行或停止MySQL服务时出现的问题，方便我们了解服务器的状态，从而对服务器进行维护。
  • 二进制日志：记录所有更改数据的语句，可以用于主从服务器之间的数据同步，以及服务器遇到故障时数据
    的无损失恢复。
  • 中继日志：用于主从服务器架构中，从服务器用来存放主服务器二进制日志内容的一个中间文件。从服务器
    通过读取中继日志的内容，来同步主服务器上的操作。
  • 数据定义语句日志：记录数据定义语句执行的元数据操作。
    除二进制日志外，其他日志都是文本文件。默认情况下，所有日志创建于MySQL数据目录中。

2. 日志有什么缺点吗？

  • 降低MySQL数据库的性能
  • 日志会占用大量的磁盘空间

二、通用查询日志（slow query log）

通用查询日志用来记录用户的所有操作，包括启动和关闭MySQL服务、所有用户的连接开始时间和截止时间、发
给MySQL数据库服务器的所有SQL指令等。

当我们的数据发生异常时，查看通用查询日志，还原操作时的具体场景，可以帮助我们准确定位问题。

# 查看当前状态
SHOW VARIABLES LIKE '%general%';# 临时开启日志
SET GLOBAL general_log=on;# 关闭日志
SET GLOBAL general_log=off;

三、错误日志（error log）

错误日志记录了MySQL服务器启动、停止运行的时间，以及系统启动、运行和停止过程中的诊断信息，包括错误、警告和提示等。

通过错误日志可以查看系统的运行状态，便于即时发现故障、修复故障。如果MySQL服务出现异常，错误日志是发现问题、解决故障的首选。

错误日志默认是开启的，且无法被禁止

四、二进制日志（bin log）

1. 概述

  • bin log即binary log，二进制日志文件，也叫作变更日志（update log）。它记录了数据库所有执行的DDL和DML等数据库更新事件的语句，但是不包含没有修改任何数据的语句（如数据查询语句select、show等）。
  • 它以事件形式记录并保存在二进制文件中。
  • 通过这些信息，我们可以再现数据更新操作的全过程。

bin log主要应用场景：

  • 一是用于数据恢复，如果MySQL数据库意外停止，可以通过二进制日志文件来查看用户执行了哪些操作，对
    数据库服务器文件做了哪些修改，然后根据二进制日志文件中的记录来恢复数据库服务器。
  • 二是用于数据复制，由于日志的延续性和时效性，master把它的二进制日志传递给slaves来达到master_slave数据一致的目的。
    可以说MySQL数据库的数据备份、主备、主主、主从都离不开binlog，需要依靠binlog来同步数据，保证数据一致性。
    MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）

2.binlog写入机制

  • binlog的写入时机非常简单，在事务执行过程中，先把日志写到binlog cache，事务提交的时候，再把binlog cache写到binlog文件中。因为一个事务的binlog不能被拆开，无论这个事务多大，也要确保一次性写入，所以系统会给每个线程分配一个块内存作为binlog cache。
    MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）
  • write 和 fsync 的时机，可以由参数sync_binlog控制，默认是0。
  • 为0的时候，表示每次提交事务都只write，由系统自行判断什么时候执行fsync。虽然性能得到提升，但是这种情况会有一定的风险。
  • 如果机器宕机，page cache里面的binglog会丢失。
  • 为了安全起见，我们还可以修改 sync_binlog 参数为 1，表示每次提交事物时都会执行 fsync 刷盘。
  • 还有一种折中的方式，设置 sync_binlog 参数为一个大于1的数N，表示每次提交事物都 write ，每N个事物进行一次 fsync 刷盘。

3. binlog和redolog有什么区别？

  • redolog 是物理日志，记录内容是“在某个数据页上做了什么修改”，属于InnoDB存储引擎层产生的。

  • redo log让InnoDB存储引擎拥有了崩溃恢复能力。

  • binlog 是逻辑日志，记录内容是语句的原始逻辑，类似于“给ID＝2这一行的c字段加1”，属于MySQLServer层。

  • bin log保证了MySQL集群架构的数据一致性。

4. 怎么保证binlog 和 redolog 一致性（两阶段提交）

  • 原理很简单，如下图，将 redolog 的写入拆成 预备 和 提交 两个阶段，我们称之为 两阶段提交：
    MySQL高级第十六篇：数据库日志有哪些（慢查询日志、通用查询日志、错误日志和二进制日志）
  • 使用两阶段提交后，写入binlog时发生异常也不会有影响，因为MySQL根据redo log日志恢复数据时，发现redo log还处于prepare阶段，并且没有对应binlog日志，就会回滚该事务。

五、中继日志（relay log）

  • 中继日志只在主从服务器架构的从服务器上存在。
  • 从服务器为了与主服务器保持一致，要从主服务器读取二进制日志的内容，并且把读取到的信息写入本地的日志文件中，这个从服务器本地的日志文件就叫中继日志。
  • 然后，从服务器读取中继日志，并根据中继日志的内容对从服务器的数据进行更新，完成主从服务器的数据同步。

由于篇幅这章就只介绍各种日志，关于主从复制的相关内容，放在下一篇详细讲解…

相关问题