建数仓ETL与ELT，哪种方案更适合你？

深夜接到告警， 次日报表的数据同步任务又 出现延迟，作为数据工程师的你不得不在半夜重启ETL作业。这场景是否似曾相识？因为数据量激增和业务对实时性要求提高， 说句可能得罪人的话... 传统ETL架构在现代数仓建设中面临严峻挑战。 哎，真是让人头大啊！以前觉得 ETL 就挺好使了现在看来真香了！哎呦喂。

什么是ETL和ELT？

这玩意儿... ETL与ELT的本质差异在于数据转换发生的位置和时间。传统ETL在数据加载到目标系统前进行转换， 而ELT则将原始数据直接加载到目标系统，然后利用目标系统的计算能力进行转换。

ETL服务器。业务系统有被抽取的能力，数据仓库有被加载数据进去的能力。而ETL服务器就是主动去业务系统E然后自己内部T再向数据仓库L。彼时架构的现状ETL这个架构的整个过程，作业压力都在ETL服务器。业务系统mysql、oracle的能力很有限。

为什么 ELT 开始流行？

ELT模式的兴起与云数据仓库技术成熟直接相关。现代云数据仓库提供了弹性的计算资源， 最后强调一点。 使得在仓库内部进行大规模数据转换成为可能。

云数仓技术的推动

有了这些强大的云服务商支持咱们了！再也不用担心算力不够用了！真好！

两种方案的关键差异

性能对比：一场模拟大作战

嚯... 为了量化比较两种架构的性能差异， 我们模拟了一个典型的数据处理场景：处理10TB销售数据，完成清洗、关联和聚合操作。