大数据开发工程师

1. 采集与边缘链路： 对接边缘网关 MQTT 数据，按设备点表、传感器、寄存器表、接口文档完成协议解析、点位映射、标准化；接入业务库、文件、第三方 API、设备数据及 InfluxDB/TDengine/TimescaleDB 时序库，用 DataX、Kafka、Flink 做全量/增量/实时采集。打通传感器/设备—采集器与协议网关—边缘节点—Kafka—Flink—Paimon—Doris/ClickHouse，熟悉 Modbus/RS485/NMEA→MQTT，能定位数据断在设备、网关、网络、消息队列或计算任务。 2. 弱网与补传： 针对深远海通信不稳、时钟漂移、边缘缓存集中补传，定义事件时间/采集时间/入湖时间规则，处理乱序、重复、迟到、缺失；以设备编码、点位编码、网箱编号、时间戳形成可追溯、可幂等记录。 3. ETL 与湖仓： 清洗、格式转换、单位统一、异常值、去重、入湖入仓；建 ODS/DWD/DWS/ADS 分层；Paimon/Delta Lake/Apache Iceberg/Apache Hudi 表设计、分区分桶、Compaction、小文件治理，兼顾实时写入与离线修正。 4. 主题与指标： 养殖（批次、网箱档案、环境监测、投喂记录、残饵识别、生物量、成活率、增氧、能耗；日投喂量、饵料系数、单位产量能耗）、交易（商品、询报价、订单、结算、行情）、船舶（船舶、航次、轨迹、告警）三类主题。 5. 数据服务： 为养殖监控、精准投喂、生产分析、驾驶舱、经营分析、智能问数提供数据表、指标及 API；配合算法把残饵识别、生物量估测与投喂记录、环境数据关联，支撑投喂效果复盘与模型迭代。 6. 调度、质量与性能： DolphinScheduler 编排、依赖、失败重跑、补数；及时性/完整性/唯一性/合理性校验，对溶氧、水温、盐度、投喂量设范围与波动检查；处理实时链路延迟、数据倾斜、小文件、慢查询，必要时二次开发 Connector、同步插件或解析组件。

1. 本科及以上，计算机/软件工程/大数据/自动化等专业，约 3 年数据开发、ETL 或实时/离线数仓经验。 2. SQL 扎实：复杂关联、窗口计算、执行计划；理解维度建模、事实表、维表、缓慢变化维、数仓分层，有模型设计与指标开发经历。 3. 熟练 Python/Java/Scala 一种或多种，能写数据脚本、接口联调与问题排查。 4. 引擎与工具： 掌握 Flink 或 Spark 且有生产经验（Flink 需理解状态、Checkpoint、Watermark、反压、Exactly-once/幂等）；熟悉 Kafka、DataX、DolphinScheduler 及 Doris 或 ClickHouse，能建表、导入、查询优化。 5. 设备数据与口径： 具备设备/物联网接入能力，理解 MQTT 接入与主题设计，能按点表、寄存器表或接口文档独立完成解析与链路开发；与养殖业务、设备实施、应用开发、算法人员核对口径，不把「任务跑成功」等同「业务数据正确」。 加分项 1. 引擎/组件开发：Flink Connector、UDF、自定义 Source/Sink、DataX/SeaTunnel 插件；能通过源码与日志定位框架级问题。 2. Paimon、Iceberg、Hudi 生产实践：流批一体、主键表、Compaction。 3. 行业与数据特性： 工业物联网、海洋牧场、智慧渔业、能源、装备制造数据接入（Modbus、RS485、NMEA、OPC UA）；时序数据、弱网补传、设备数据质量治理、实时预警链路。 4. 数据服务、指标体系、元数据、血缘或智能问数经验。