职位描述:
职位描述
1、维护hadoop集群,评估集群容量,优化集群性能;
2、维护大数据任务调度框架和策略,数据中心备份恢复策略;
3、负责大数据组件部署升级,变更,扩容,性能及管理优化,问题排查,发布及监控,确保集群稳定性;
4、负责设计实现与日常运维相关的自动化工具或系统,减少人工操作提高运维效率
5、负责大数据迁移、备份恢复、扩容、参与容灾演练、高可用架构的设计与实施等
6、负责突发事件管理,问题跟踪与管理,提供运维报告。
7、负责公有云一些大数据组件维护。
任职要求:
全日制本科及以上学历,计算机相关专业,6年及以上大型分布式系统实施和运维相关经验,维护集群数量100台以上
熟悉Hadoop生态圈,对HBase、Hive、Spark、Clickhouse、Kafka、Elasticsearch、zookeeper、yarn等主流分布式开发套件有一定认识,有相关安装部署及调优经验;
熟悉Linux类操作系统的基础命令操作,能够编写脚本开展日常运维工作,有自动化发布项目建设经验优先;
熟悉cdh,cdp,有阿里云大数据集群使用经验优先