为什么你的系统总是崩？日志监控才是救命稻草！

说实话，做运维的谁没经历过半夜三点被报警 很多时候，我们盯着那些花花绿绿的图表，以为一切尽在掌握。后来啊呢？日志里早就报错了我们却还在傻傻地看着CPU使用率。这简直是掩耳盗铃！日志输出通常包含状态、时间和测量等有价值的信息。比方说使用来自Web或应用程序服务器的访问日志输出是一种跟踪事务时间或错误统计的有效方法。可以通过工具来解析这些日志条目，从匹配的输出中创建指标，并使它们可供Promeus作业抓取。这才是正道啊朋友们！ 别再手动改配置了 先装好环境再说 我知道你们很多人一上来就想搞什么高大上的架构，但是连基础环境都搭不明白。来看看这段，别嫌啰嗦，这都是血泪经验。2.2 安装 promeus.node_exporter-1.2.2.linux-amd64.tar.gz #被控端程序,用于采集监控指标数据.#修改主机名# hostnamectl set-hostname promeus-server#关闭防火墙&&设置随机不自起# systemctl stop firewalld# systemctl disable firewalld#关闭SELinux# setenf.... 好家伙... 看到没？防火墙必须关！SELinux也得关！别问为什么问就是为了省事。当然生产环境你最好还是配一下规则，别到时候把自己挡在外面了哭都没地方哭。安装完这些，你才有资格谈监控。不然一切都是空中楼阁。 mtail：从日志里榨出油水的神器 说到日志监控，就不得不提mtail。这玩意儿简直是老应用的救星。1、mtail:从日志中提取指标,发送到时间序列数据库。这东西是干嘛的？就是把你那些乱七八糟的日志变成Promeus能看懂的数字！Promeus:日志监控 1、 mtail:从日志中提取指标,发送到时间序列数据库 mtail基于RE2 2、收集apache日志 apache_combined.mtail Parser for 人间清醒。 common apache NCSA extended/combined log format LogFormat %h %l %u %t %r % s %b %{Referer}i %{User-agent}i counter apache_http_requests_total by request_method, http_version, request_status co... 差不多得了... 你看这配置，虽然看着头大，但是一旦配好了那效果杠杠的。特别是对于那些没有设置监控或者不容易进行监控的遗留应用程序， 有时重写、修补或重构该应用程序以暴露内部状态的成本绝对不是一项有利的工程投资，或者还可能存在监控上的技术限制。这时候mtail就是你的救命稻草，不用改代码，直接读日志，美滋滋。 日志监控工具大乱斗：谁才是你的菜？ 市面上工具一大堆，选得眼花缭乱。为了让大家少走弯路，我特意整理了一个表格， 我们都... 虽然不一定全对，但大概就是这么个意思。看看吧，别再瞎选了。 工具名称 主要功能 适用场景 坑爹指数 mtail 从日志中提取白盒指标 无法修改代码的遗留应用 ★★★☆☆ Loki 日志聚合与查询 Kubernetes环境， 配合Grafana ★★☆☆☆ ELK Stack 全套日志分析解决方案 土豪公司，需要复杂分析 ★★★★★ Filebeat 轻量级日志采集 作为Logstash的前置 agent ★☆☆☆☆ Promtail Loki的专属采集器 专门给Loki打工的 ★★★☆☆ 这表格仅供参考，别太当真。反正选工具就像选对象，适合自己的才是最好的。 搞一下... 别看别人用ELK你也用，后来啊服务器跑不动了别怪我没提醒你。 Blackbox Exporter：黑盒监控的奥秘 有时候我们根本不在乎程序内部是怎么跑的，我们只想知道它挂没挂。这就需要黑盒监控了。探针监控的一个示例是施行ICMP ping或echo检查并确认你已收到响应。这种类型的探针监控也称为黑盒监控，主要原因是我们将内部应用程序视为黑盒。 Blackbox exporter是一个在Apache 2.0许可下的二进制Go语言应用程序。exporter允许的指标返回给Promeus。 完善一下。 这玩意儿真的很好用，特别是监控外部接口的时候。别老盯着内部指标了用户连不上你网站，你内部CPU再低也没用啊！Kubernetes promeus filebit logstash 日志采集.探针监控的一个示例是施行 ICMP ping 或 echo 检查并确认你已收到响应. 这句话我都说了两遍了 重要的事情说三遍，一定要用起来！ Pushgateway：当抓取行不通的时候 世界不是完美的，Promeus的拉取模式也不是万能的。在某些情况下没有可以从中抓取的目标。造成这种情况的原因有很多。比如你的任务跑完就结束了Promeus根本来不及去抓。这时候怎么办？ 一阵见血。 Pushgateway闪亮登场！ Pushgateway是一个独立服务，它在HTTP REST API上接收Promeus指标。Pushgateway位于发送指标的应用程序和Promeus服务器之间。Pushgateway接收指标，然后作为目标被抓取，以将指标提供给Promeus服务器。你可以将其视为代理服务，或者说与黑盒exporter的行为相反：它接收指标而不是探测指标。 但是要注意啊，Pushgateway不是万能药。它会把数据一直存着，直到Promeus来抓。如果你处理不好过期时间，你的图表上会显示一堆已经死掉的任务的数据，那场面才叫一个尴尬。yeedomliu第9章 日志监控.注意:运行mtail的用户需要针对正在解析的日志文件的权限,否则mtail将无法读取文件.特别是对于没有设置监控或者不容易进行监控的遗留应用程序,有时重写、 修补或重构该应用程序以暴露内部状态的成本绝对不是一项有利的工程投资,或者还可能存在监控上的技术限制. 构建你的统一监控平台 说了这么多零散的组件，怎么把它们串起来呢？这才是考验功力的时候。说明统一监控平台采用promeus+grafana+alertmanager技术路线进行平台监控.1、 promeus总体结构 promeus主要包含以下组件:promeus server负责收集任务的管理、日志的存储、以及PromQL的支持.，我emo了。 这听起来是个标准答案，但实际操作起来全是坑。promeus日志默认输出到屏幕 --log.format=logfmt 日志格式.管理监控系列:Promeus.角色 主机名 ip promeus服务端 promeus 10.0.0.24 / 172.16.1.24 grafana grafana 10.0.0.23 / 172.16.1.23 docker01 docker01 10.0.0.81 / 172.16.1.81 先将两个软件包上传到/soft/promeus,可在清华源上下载最新版.，躺赢。 你看这IP规划， 这角色分配，多清晰。但是一旦你的节点多了这配置文件能把你写哭。所以啊，自动化运维很重要，别老手动改配置了。 Sidecar模式：mtail的最佳实践 有了两个mtail程序，可以通过多种方式部署它们。我们建议为每个应用程序运行一个mtail实例，并作为依赖项通过配置管理部署在应用程序周围。这种模式通常被称为边车模式非常适合容器化应用。 将心比心... 也可以在一个mtail实例中运行多个程序， 但有一点需要注意，mtail会在传递给它的每个日志文件上运行每个程序，这可能会对主机产生性能影响。 Sidecar模式听着很高级，其实就是把监控程序和业务程序绑在一起。好处是耦合度低，坏处是资源消耗翻倍。特别是在Kubernetes里Pod多了以后这sidecar一开，资源哗哗地流。心疼啊！mtail日志处理器是由Google的SRE人员来编写的， 没法说。 其采用Apache 2.0许可证，并且使用Go语言。mtail日志处理器专门用于从应用程序日志中提取要导出到时间序列数据库中的指标。Google出品，必属精品，这话在mtail上还是有点道理的。 告警规则：别让监控变成哑巴 整一个... 监控了半天没人报警，那等于白搭。配置Promeus日志监控规则:在Promeus Server的配置文件中,添加相应的日志监控规则,以定义需要监控的日志内容和告警条件.. 这规则写起来也是一门艺术。写严了你的邮件箱会被爆掉；写松了出事了也没人知道。 使用loki+promtail+alertmanager+promeusAlert实现自定义日志采集查看和监控告警.scrape_configs:抓取日志配置. 这一套组合拳打下来大体上能覆盖大部分场景了。Alertmanager负责发邮件、发钉钉、发微信，反正怎么烦人怎么来一定要让运维人员收到消息。监控探针有三个约束 虽然我也不知道这三个约束具体是哪三个，可能书上写了但是你记住肯定有约束，不可能随心所欲。 实战案例：MySQL慢查询监控 再说说来个干货。数据库慢了整个系统都卡得像蜗牛。怎么监控？下面是实现“promeus监控MySQL慢日志”的步骤:.现在,您已经成功实现了“promeus监控MySQL慢日志”的功能. 这步骤虽然我没写全，但是思路就是这样。要么用mtail读慢日志，要么用专门的exporter。Grafana+Loki+promeus日志监控.promeus 如何监控 Hive promeus监控日志. 其实道理都是通的。Hive也好，MySQL也好，只要是日志，就能被监控，我悟了。。 总而言之，想要系统稳定，别偷懒。Promeus是个好东西，但是你得会用。日志监控更是重中之重，别等到系统崩了才去查日志。那时候黄花菜都凉了！希望这篇乱七八糟的文章能给你一点启发，哪怕是一点点，我也没白费力气敲这些字。赶紧去试试吧，别光看不练！