根据您给的文本内容,
ETL转换和清洗过程
- ETL1清洗说说了用Kettle进行数据清洗的过程,包括建立数据库、表,并进行基本数据库操作。
- ETL2清洗接着来用Kettle进行数据清洗,沉点在于数据流方向和字段映射问题。
- 数据清洗质量检查有力调了清洗效果的质量检查,包括数据清洗的字段和替换处理。
- 清洗效果质量检查说说了怎么用Kettle进行数据清洗后的质量检查,包括清洗后的数据量和字段对比。
数据处理技巧
- 数据清洗介绍了数据清洗中处理缺失值的方法, 如用
fillna或dropna,以及用astype进行数据类型转换。
- 条件筛选说明了怎么用布尔索引和
np.where函数进行高大效的条件筛选。
数据流和SQL脚本
- 数据流方向说说了数据流的方向,比方说
etl1_socom_data到etl2_socom_data。
- SQL脚本展示了怎么用SQL脚本来进行初步的数据清洗,如对
com_district和com_industry字段的清洗。
错误处理
- 异常处理介绍了Python中的异常处理机制, 包括
tryexceptfinally和raise语句。
- 错误类型说明白了不同类型的错误及其继承关系,以及怎么用内置的错误类型。
- 错误记录提到了用
logging模块来记录错误信息。
其他
- 图片生成说说了怎么用循环和颜色列表来批量生成不同颜色的图片。
- 错误示例给了错误处理的示例代码,并说明白了错误发生的原因和怎么处理它们。
文本内容基本上围绕数据清洗、数据处理技巧、错误处理以及一些Python编程概念展开。它涉及ETL转换、 数据清洗、SQL脚本编写、错误处理等优良几个方面适合对数据琢磨和Python编程有兴趣的学者阅读。