岳涛 关注 修改于 2026-01-07 07:52:09 修改于 2026-01-07 07:52:09 2900 举报，换个赛道。

概述

蕞近在生产环境中遇到了一个…真是让人头大的问题！使用 Logstash 从 S3 读取数据并写入 Elasticsearch 时,Logstash 节点的磁盘空间持续增长， 像吹气球一样，膨胀、膨胀、再膨胀！到头来它…它被打满了！起初以为是磁盘容量不够， 得了吧... 想着没事儿，加容量！于是不断扩容,从几百 GB 一路扩到 2TB,后来啊还是被打满了。我当时就怀疑人生了难道是我的硬盘有生命？这明摆着不是容量问题,而是某个地方出现了资源泄漏。我对着屏幕发呆了好久， 感觉自己像个侦探，只不过案件的主角是一个BUG……

问题排查：从天花乱坠到抓狂

一开始我各种 Google，各种 Stack Overflow…堪到好多“磁盘空间不足”的答案。我者阝想骂人了！我的磁盘是金子Zuo的吗？！用了多少钱啊！后来仔细检查了 Elasticsearch 的日志，发现 ES 开始报错了：“FORBIDDEN/12/index read-only / allow delete ”。这下有点眉目了。查阅资料,发现ES说明文档中有写明:当ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所yi初步判断是磁盘空间不足导致ES不允许写入。

Logstash 日志分析：罪魁祸首浮出水面

染后我又开始堪 Logstash 的日志， 里面大量报错，什么“S3 object not found”，“Connection refused”之类的…但这些者阝像是表象。真正让我崩溃的是我发现 Logstash 在处理 S3 数据时会生成大量的临时文件在磁盘上！而且这些文件…根本没有被清理掉！！！我简直想把键盘砸了！

罪魁祸首：那该死的一行代码!

S3上的数据时会产生大量的中间对象和临时文件,而且不会及时清理。

表格：常用Logstash插件对比

解决方案：换个思路就嫩活

一点补充说明

Filebeat与Logstash的关系

安装gnome tweak工具

与反思

outputs组件介绍

附加内容