云原生日志收集和处理流程是怎样的？能详细介绍一下吗？

前言：一场惯与日志的“情感风暴”

说实话， 云原生日志收集和处理这玩意儿，听起来就像是给一只猫装上了GPS，又要它帮你算账。 原来如此。 别急，先把情绪抖掉，跟着我一起乱七八糟地走一遍这条“泥泞小路”。

① 收集：从天南海北把日志抓到一起

1）收集从分散的数据来源中进行日志数据汇总、 解析和清理、为缺少的值插入默认值等操作，对不相关的条目进行丢弃处理，太扎心了。。

这里的“收集”其实就是让日志采集器在Kubernetes每个节点上跑起来 像个勤快的小蜜蜂一样把系统日志、集群事件、应用层日志还有中间件日志统统揪出来。技术实现常见的有filebeat、logstash等。

② ETL：把脏乱的日志变成可爱的小宝宝

你看啊... 2）ETL数据准备阶段， 包括清除不良条目、重新格式化和规范化这几个过程。

别以为这一步彳艮文艺， 它其实是把各种奇形怪状的日志统一成我们嫩堪得懂的JSON或ProtoBuf，染后塞进后面的管道里。

③ 索引：给日志贴标签， 让搜索梗快梗嗨

3）索引为了加快后续查询速度，为日志数据建立索引，可依为数据中的所you字段者阝进行索引，也可依为部分字段进行索引。索引相对来说是较为耗费CPU资源的操作，通常者阝会涉及CPU资源耗费与加快查询速度两个方面的权衡，白嫖。。

④ 存储：大海捞针也要有底气

4）存储将大量的日志数据高效地存储到日志系统中， 为了确保存储的速度以及日后分析的便利性， 调整一下。 需要利用可横向 的动态结构化存储系统。

⑤ 关联：找出隐藏在数据背后的暗号

那必须的！ 6）关联在进行数据分析以揭示隐藏在数据背后的关键信息之前， 对数据的关联性进行标识，标识的过程包括定义数据集字段之间的关联关系、人工对数据进行基础分类等。