大数据项目工程师（研发 + 运维复合型）

岗位职责 负责大数据平台相关模块的开发、迭代、接口开发、数据清洗、ETL、数据建模、报表开发；基于 Spark/Flink/Hive/ClickHouse/Doris 等完成数据处理、实时 / 离线任务开发。 负责大数据集群（Hadoop、Kafka、HBase 等）部署、高可用搭建、扩容升级、故障排查、性能调优、备份容灾、版本管理，保障平台稳定运行。 搭建监控告警体系，使用 Prometheus、Grafana、Zabbix 等做指标监控、日志分析，持续优化集群资源、解决数据倾斜、任务卡死、调度异常等问题。 负责项目现场交付、联调、测试、验收，对接甲方，输出方案、周报、运维手册、故障 SOP、部署文档，闭环问题台账。 独立定位和解决开发侧、平台侧、环境侧各类疑难问题；参与需求评审、方案设计，评估技术可行性，输出优化方案。 负责平台权限管控、Kerberos/Ranger 安全配置、等保相关落地；参与国产化适配（麒麟、鲲鹏、飞腾）。 编写 Shell/Python 脚本，实现自动化部署、巡检、数据迁移、批量运维工具开发，减少重复运维工作。 任职要求 本科及以上，计算机、大数据、软件工程等相关专业，3 年及以上大数据项目经验，同时具备大数据开发 + 集群运维实战经验；有能源、煤矿、工业、政企项目经验优先。 精通 Linux，熟练 Shell，熟练 Python/Java 至少一种开发语言；熟悉网络、服务器、存储基础。 精通主流大数据组件原理：Hadoop、HDFS、YARN、Hive、Spark、Kafka；熟悉 Flink、ClickHouse、Doris、HBase 其中至少一种，能独立开发 + 排障调优。 熟悉数据调度工具 DolphinScheduler/Azkaban；熟悉 MySQL、PostgreSQL，熟练 SQL，懂数据仓库建模。 具备独立故障排查能力：集群宕机、资源异常、任务失败、数据延迟、数据不一致等问题定位和修复。 能接受项目驻场、出差，沟通能力强，文档输出规范，能直接对接客户进行技术答疑。