小文件问题

小文件问题

Tag

当前位置:首页 > 小文件问题 >
  • Hive查询速度越来越慢,是踩了哪些常见坑?如何优化?

    Hive查询速度越来越慢,是踩了哪些常见坑?如何优化?

    说实话, 只要在大数据岗位干过一年以上,应该都遇到过那种离谱的 Hive 查询:昨天 3 分钟能跑完的任务,今天突然 40 分钟还卡在 map 阶段;同一个 SQL 在测试环境飞快,到了生产连日志都刷不动;有时候 Tez 跑得稀碎,一切换回 MR 又灵了…,瞬间迷茫了,说白了就是...。 性能下降不是 SQL 老化, 而是小文件越来越多 平心而论... 后来啊一看 HDFS 文件,整整 1.8

    查看更多 2026-04-15

提交需求或反馈

Demand feedback