巨大数据琢磨工事师是一个涉及优良几个领域和技Neng的职位。
关键技Neng和知识
SQL和数据库解决方案
- 熟练掌握SQL,了解关系型数据库。
- 熟悉非关系型数据库,如Cassandra或BigTable。
数据仓库和ETL
- 熟悉数据仓库解决方案,如Redshift或Panoply。
- 熟悉ETL工具,如StitchData或Segment。
基于Hadoop的琢磨
- 搞懂Hadoop生态系统, 包括HBase、Hive和MapReduce。
- 了解分布式存储和查询手艺。
编程语言
- 掌握通用脚本语言和工具, 如Python、C/C++、Java、Perl、Golang等。
操作系统
- 深厚入了解Unix、Linux和Solaris系统。
机器学
分布式系统
干活内容
- 数据挖掘从一巨大堆数据中提取有值钱的信息。
- 数据建模创建数据模型以支持琢磨和决策。
- 数据可视化将数据以图形或图表的形式展示出来。
- 数据仓库管理维护和管理数据仓库。
- 数据琢磨用统计和机器学手艺琢磨数据。
巨大数据琢磨工事师需要具备许多方面的技Neng和知识。他们不仅要了解数据存储和查询手艺,还要熟悉编程和机器学。因为巨大数据手艺的不断进步,巨大数据琢磨工事师的角色也在不断演变,需要不断学和习惯新鲜的手艺。