岗位职责：
1、负责大数据平台的搭建、发布部署及相关维护工作；
2、负责系统的运维和主动预防，搭建监控机制以及及时发现集群问题，持续提升系统可用性与稳定性；
3、跟进并处理系统事件，对系统问题及故障解决跟踪优化，负责服务状况与服务质量报告，不断提升集群服务质量；
4、梳理优化业务使用集群的流程和规范，使集群使用在资源利用、质量等方面均达到较高水平；
5、日常跟踪业界技术发展动态，并结合业务发展需求，研究引入合适的技术。


任职要求：
1、3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验；
2、对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优,性能优化等有实际经验；
3、有实际踩坑经历,对于相关组件的版本跟进,补丁跟踪,bug追踪等有相关经验；
4、熟悉Kerberos安全认证系统，实施过集群权限管理,资源隔离方面的方案规划或二次开发工作；
5、实际处理过各种集群在线版本升级,数据迁移,集群扩容,稳定性监控等工作；
6、了解计算机网络，熟悉linux，熟悉shell、perl或python等语言；
7、熟悉Oracle数据库技术，熟悉DataStage等ETL工具优先；
8、熟悉中间件技术，如KafKa、weblogic、MQ等技术；
9、积极主动、学习能力强、沟通能力强、肯吃苦耐劳。
注意事项：2年内可接受外派上海、深圳出差！！！