岗位职责:
1. 负责大数据产品离线计算、实时计算等功能模块设计及代码实现;
2. 通过公司产品和用户需求搭建大数据基础架构,搭建通用平台,满足用户需求;
3. 负责执行软件代码走查、静态分析、单元测试、集成测试、研发自测;
4. 开发过程文档及说明性文档手册的编制;
5. 负责分析解决各测试环节出现的软件bug;
6. 通过数据量能够综合评估集群规模,优化软硬件成本,集群扩容缩减迁移等。
任职要求:
1. 统招本科以上学历,计算机相关专业;
2. 3年以上大数据处理,每天百亿量级数据存储大数据架构经验优先;
3. 精通hadoop原理 ,能独立完成hadoop部署,集群调试和扩容,性能调优;
4. 精通hadoop生态,如flume,kafka,hive,hbase,flink等, 熟练运用scala语言,spark技术开发;
5. 善于学习和引进大数据生态圈新技术, 有AI人工智能经验优先。