职责描述:
- 负责公司数据湖/数据仓库建设;
- 负责数据的清洗、加工、分类等开发工作,并能响应数据分析师对数据提取的要求;
- 负责ETL调度平台开发,构建稳定高性能的处理流程;
- 负责Hive、HBase、Spark、Storm、Kafka等系统的应用开发工作;
任职要求:
- 本科及以上学历,计算机、数学等相关专业;
- 5年以上软件开发工作经验,2年以上Hive/Spark/Hbase/Kafka大数据开发工作经验;
- 熟悉Linux Shell/Python等脚本语言,精通Java或Scala;
- 熟悉主流数据库如Oracle/SQL Server/MySQL及SQL语句编写;
- 熟悉数据仓库的ETL的开发,有海量数据处理相关经验;
- 熟悉统计工具R语言或Tensorflow优先;
- 有数据挖掘及机器学习方面的经验优先;
- 对数据有着强烈兴趣,关注大数据技术发展趋势,具备很强的学习新技术的能力;