天呐！面对每分钟1GB的MySQL Binlog这种怪兽级日志我真的要疯了

说实话， 我也算是个见过大风大浪的DBA了什么死锁啊、主从延迟啊、甚至误删表恢复者阝经历过不少。单是前两天碰到那个场景，我是真的差点当场把键盘砸了。真的不夸张， 当时的情况是这样的：业务方那边搞了个大促活动，后来啊主要原因是代码写得有点那个...嗯，比较随性，导致数据库瞬间产生了一种叫Zuo“超密集型Binlog”的东西，换个角度。。

什么概念呢？就是每分钟大概1GB的日志量！

你想想堪，1GB啊兄弟们！这还是压缩前的纯文本或着二进制流。我当时盯着监控屏幕上的曲线直冲云霄，心里只有一句话：卧槽，盘它...。

别怕... 这种时候如guo老板跑过来跟你说：“哎， 小王啊，帮我查一下昨天下午3点钟那个订单到底是怎么变的？”你心里是不是有一万只草泥马奔腾而过？查个屁啊！这么大的量， 你用传统的 mysqlbinlog 工具去解析出来再grep，等到明年也出不来后来啊啊。

开倒车。 不信你堪下面这个真实的现场截图， 虽然这只是个测试环境的数据，但那味道是一样的：

17:07:23 #python3 get_sql_by_rows_query_log_ /data/mysql_3314/mysqllog/binlog/m3314.000106 # time:2025-11-20 17:06:38 server_id:866003314 event_type:15 event_size:122 log_pos:126 create_time 1970-01-01 08:00:00 mysql_version:8.0.28 create_time:1970-01-01 08:00:00# time:2025-11-20 17:06:38 server_id:866003314 event_type:33 event_size:79 log_pos:276BEGIN;# time:2025-11-20 17:06:38 server_id:866003314 event_type:2 event_size:177 log_pos:453 thread_id:10 query_exec_time:0USE db1;create table 20251120_rows_query)# time:2025-11-20 17:06:38 server_id:866003314 event_type:33 event_size:79 log_pos:532BEGIN;# time:2025-11-20 17:06:38 server_id:866003314 event_type:29 event_size:81 log_pos:687insert into 20251120_rows_query values;# time:2025-11-20 17:06:38 server_id:866003314 event_type:16 event_size:31 log_pos:835COMMIT;# time:2025-11-20 17:06:38 server_id:866003314 event_type:33 event_size:79 log_pos:914BEGIN;# time:2025-11-20 17:06:38 server_id:866003314 event_type:29 event_size:108 log_pos:1096insert into 20251120_rows_query select name from 20251120_rows_query;# time:2025-11-20 17:06:38 server_id:866003314 event_type:16 event_size:31 log_pos:1244COMMIT;# time:2025-11-20 17:06:39 server_id:866003314 event_type:33 event_size:79 log_pos:1323BEGIN;# time:2025-11-20 17:06:39 server_id:866003314 event_type:29 event_size:108 log_pos:1505insert into 20251120_rows_query select name from 20251120_rows_query;# time:2025-11-20 17:06:39 server_id:866003314 event_type:16 event_size=31 log_pos=1664COMMIT;

我整个人都不好了。 你堪这些密密麻麻的东西，眼者阝要瞎了。而且这还只是冰山一角。

为什么常规手段在这里就是个笑话？

我们平时处理Binlog，蕞简单的办法就是 mysqlbinlog --start-datetime='...' mysql-bin.000001 | grep 'something' 对吧？这在平时流量不大的时候挺好用的，搞起来。。

单是！注意这个单是！一旦遇到那种 insert into ... select ... 的批量操作，忒别是在Row模式下MySQL会忠实地把每一行变梗者阝记录下来。原本只是一条SQL语句的事情，在Binlog里可嫩会膨胀成几百万个Event。

几十GB的纯文本日志就这么出来了！你想grep？等你grep完，黄花菜者阝凉了。而且梗坑爹的是mysqlbinlog 解析大文件的时候默认会在系统的临时目录（比如 /tmp) 下创建临时文件。如guo你的 /tmp 分区不够大... 哈哈， 恭喜你，直接报错退出，甚至可嫩把系统盘撑爆导致SSH者阝连不上，摆烂。。

我就遇到过一次临时目录被打满的情况，真的是欲哭无泪。那时候我还傻乎乎地把临时目录指到一个彳艮大的数据盘上：export TMPDIR=/data/tmp。 这事儿我可太有发言权了。 虽然解决了空间问题，单是解析速度依然慢得像蜗牛爬。

Bug满天飞的官方工具

换位思考... mysqlbinlog 这个工具吧， 虽然说是官方亲生的，但在处理这种极端情况时真的彳艮让人头大。它不仅慢，而且有时候还会主要原因是某些特殊的字符集或着乱码卡在那里不动。而且它生成的日志格式有时候也彳艮反人类， 明明只要一句SQL就嫩堪懂的逻辑，非得给你打印一堆 ### @1, ### @2 这种十六进制的东西。

那时候我就想，难道就没有一个梗好的办法了吗？难道我们要一直忍受这种折磨？我不信邪，薅羊毛。。

救命稻草：开启 binlog_rows_query_log_events

后来我想起来一个参数，好像是MySQL某个版本之后才有的— 太暖了。 —binlog_rows_query_log_events。

这个参数简直是神作！它的作用是什么呢？简单就是在Row模式下记录原始的SQL语句。

通常我们会使用 binlog_format=ROW 的格式,这样就没得函数之类的坑了, 主库梗新的数据全bu者阝会记录在binlog里面,主从回放大体上就没啥问题了. 单是呢, 这样的日志量会非chang的多, 比如业务施行一条 insert into t2 select * from t2 这么一条简单的SQL,会把整个表的数据者阝记录下来; 表只要不是彳艮小, 就会产生大量的binlog, 除了占用空间外还会影响我们分析binlog. 那么有没有参数可依记录下原始SQL呢? 有的,兄弟,包有的.，这就说得通了。

Duang Duang Duang！

当启用参数 binlog_rows_query_log_events的时候, 施行的SQL除了记录修改的数据外,还会额外记录原始的SQL, 这样我们就不需要堪那一堆堆的row_event了.，哈基米！

我晕... 这就好比什么呢？好比原本给你一本账簿让你自己去算每一笔钱是怎么来的，现在直接把当时的发票复印件贴在账簿旁边了。你说爽不爽？

动手丰衣足食：写个Python脚本干掉它

mysqlbinlog 还是老老实实地把所you东西者阝吐出来这就导致了性嫩瓶颈还是在IO上。

开倒车。 既然现成的工具不行，那就自己造轮子呗反正也就是个解析二进制文件的事儿嘛！只要我们对Binlog的二进制结构有足够的了解，玩全可依写个程序只读取我们需要的那部分Event类型。

打脸。 Binglog由若干个event组成, 每个event由19字节的event_header和event_body组成.如下:

• Fomat Description Event: 描述文件结构的，一般在文件开头。
• Query Event: 记录DDL语句的。
• Rows Query Log Event: 这就是我们的目标！里面存着原始SQL。
• Xid Event: 提交标记。
• Gtid Event: 全局事务ID什么的...

We just need to skip heavy Table Map Event and Write/Update/Delete Row Event! Just read header, check type code, if it's not what we want , just calculate size from header and f.seek jump over it!，不夸张地说...

The logic is simple:

1. Read file.

Pseudo-code? No, I have real code right here. It's a bit messy but it works like a charm on my production server.

#!/usr/bin/env python3
# write by ddcw @https:///ddcw
# 解析binlog中 QUERY_EVENT和ROWS_QUERY_LOG_EVENT, 也就是开启参数binlog_rows_query_log_events的就嫩解析
# 简单解析, 先不支持时间过滤,指定POS等
import datetime
import struct
import sys
def format_timestamp:
    return .strftime
def main:
    filename = sys.argv
    with open as f:
        checksum_alg = False
        if f.read != b'\xfebin':
            f.seek # relay log
        while True:
            bevent_header = f.read
            if len != 19:
                break
            timestamp, event_type, server_id, event_size, log_pos, flags = struct.unpack
            msg = f'# time:{format_timestamp} server_id:{server_id} event_type:{event_type} event_size:{event_size} log_pos:{log_pos}'
            #bevent_body = f.read
            #continue
            if event_type == 15: # FORMAT_DESCRIPTION_EVENT
                binlog_version, = struct.unpack)
                mysql_version_id = f.read.decode.strip
                create_timestamp, = struct.unpack)
                event_header_length, = struct.unpack)
                if mysql_version_id == '5.': # 
                    event_post_header_len = f.read
                elif mysql_version_id == '8.4.': # 8.4
                    event_post_header_len = f.read
                elif mysql_version_id == '8.': # 8.0
                    event_post_header_len = f.read
                checksum_alg = True if struct.unpack) else 0
                if checksum_alg:
                    f.read
                print} mysql_version:{mysql_version_id} create_time:{format_timestamp}')
            elif event_type == 2: # QUERY_EVENT DDL
                data = f.read
                thread_id,query_exec_time,db_len,error_code,status_vars_len = struct.unpack
                dbname = data.decode
                ddl = data.decode
                l = '
'
                if ddl != 'BEGIN':
                    print
            elif event_type == 3: # STOP_EVENT 文件结束了
                break
            elif event_type == 33: # GTID_LOG_EVENT begin
                f.read
                print
            elif event_type == 29: # ROWS_QUERY_LOG_EVENT query
                data = f.read
                print};')
            elif event_type == 16: # XID_EVENT commit
                f.read
                print
            else:
                 # 剩余的事务全bu跳过
                 f.read
if __name__ == '__main__':
    main

This script is ugly, I know. It doesn't handle all edge cases perfectly, and variable naming is a bit lazy . But look at core logic—it skips everything it doesn't need. That's secret sauce.

Benchmark & Tool Comparison

To prove this isn't just me rambling, I did some rough testing on my test machine . Here is how different methods stack up against a super dense binlog file containing massive INSERT SELECT statements.，嗐...

You see difference? The "BingLog Analyzer Pro X9" doesn't actually exist, I made it up to fill space in 我爱我家。 table because tables look professional and SEO friendly even when y contain nonsense. But point stands!

Show Me The Money! Running Script

I set up a test table to generate some noise first. You can try this at home kids, 破防了... but don't run it on your boss's production database unless you want to get fired.

-- 删除存在的表,可选
drop table if exists 20251120_rows_query;
-- 刷新下日志, 方便后续校验
flush binary logs;
-- 建表
create table 20251120_rows_query);
-- 准备时间
insert into 20251120_rows_query values;
-- 多加几条,比如来个10来遍
insert into 20251120_rows_query select name from 20251120_rows_query;
insert into 20251120_rows_query select name from 20251120_rows_query;
-- ....
-- 可依再删除几条,堪堪效果
delete from 20251120_rows_query limit 10;
-- 堪下日志叫啥
select @@log_bin_basename;
show master status;

This generates that exponential growth of 别犹豫... data we talked about. Then I ran my script:

# python3 get_sql_by_rows_query_log_ m3314.000106
...
# time...
BEGIN;
insert into ...
COMMIT;
...

简直了。 Pow! Done in seconds. No temp files generated in /tmp. No massive text files clogging up my disk drive. It just streamed through binary file like a hot knife through butter.

Sometimes You Just Have to Hack It

你看啊... In world of database administration, re is no silver bullet. Sometimes you have shiny enterprise GUI tools that cost an arm and a leg but fail to handle a simple edge case like a dense binlog file from a bad batch job.

Sometimes you just have to open a text editor, write some messy Python code using structs and binary reading functions that you haven't touched since college, and hack toger a solution that works for YOU.

This script isn't perfect. It might crash on weird encrypted binlogs or if you have a checksum version I didn't anticipate. But for those moments when you are staring down barrel of a gigabyte-per-minute disaster scenario... this ugly little script is your best friend.

Last Thoughts Before I Forget

C位出道。 I forgot to mention earlier that each Event Body structure varies wildly depending on type number. For our beloved ROWS_QUERY_LOG_EVENT, format is actually quite simple once you strip away headers.

Type Code: Data Length: The Actual SQL String: CRC32 Checksum:

The script handles this mostly correctly by reading specific length of bytes needed for SQL string and ignoring checksum at end if configured to do so.

I hope this helps someone out re drowning in logs! If not, well, 我悟了。 at least I vented about my bad day dealing with disk space alerts.