大数据开发工程师
📍 常州市 👁️ 2次浏览
📩 0人投递
薪资面议
岗位职责
【工作职责】
1. 基础大数据平台运维与开发：
1.1 负责Linux环境下的系统运维，确保大数据平台稳定运行。
1.2 精通大数据基础组件（如Hadoop、Spark、Kafka、flink等）的部署、配置与优化。
1.3 集群部署与管理（cdh、bdp），包括性能调优、故障排查与恢复。
1.4 平台级运维与开发，包括数据收集、处理、存储与分析流程的设计与实施。
1.5 大数据离线与实时开发，利用SQL、Hive、Spark Streaming、Flink等技术处理大规模数据集。
2. 算法应用部署迭代：
2.1 使用Python进行脚本编写、算法应用开发、Django或Flask框架，包括但不限于数据处理、模型训练与评估。
2.2 优化现有算法，提升算法效率与准确性，确保算法在生产环境中的稳定运行。
2.3 参与算法应用的部署与迭代，包括版本控制、测试、发布与监控。
2.4 与数据科学家紧密合作，将研究成果转化为实际可用的算法产品。
3. 大模型应用探索（加分项）：
3.1 探索并应用最新的大模型技术（如Transformer、BERT等）于公司业务场景中。
3.2 研究大模型在特定领域的应用，如自然语言处理、图像识别等，推动技术创新。
3.3 评估大模型的性能与成本效益，提出优化建议。
【任职资格】
1. 深厚的Linux系统运维经验，熟悉Shell脚本编写。
2. 精通Python编程，具备扎实的编程基础与算法设计能力。
3. 深入理解大数据处理流程，熟悉Hadoop、Spark、Kafka、Flink等大数据框架。
4. 具备大数据平台部署、集群管理与运维的实战经验。
5. 有Python项目开发经验，包括脚本编写、算法应用开发、Django或Flask框架。
加分技能：
1. 对机器学习、深度学习有一定了解，熟悉常见算法与框架（如TensorFlow、PyTorch）。
2. 实际参与过算法项目，有成功案例者优先。
3. 工业软件开发与部署经验，了解软件开发周期与工具链。
4. 强大的项目管理能力，能够作为项目Leader，有效协调团队资源，确保项目按时交付。
个人素质：
1. 良好的团队合作精神与沟通能力，能够跨部门协作。
2. 积极主动，善于解决问题，对新技术保持高度好奇心与学习热情。
3. 强大的责任心与抗压能力，能在快节奏环境中保持高效工作。
职位要求
【工作职责】
1. 基础大数据平台运维与开发：
1.1 负责Linux环境下的系统运维，确保大数据平台稳定运行。
1.2 精通大数据基础组件（如Hadoop、Spark、Kafka、flink等）的部署、配置与优化。
1.3 集群部署与管理（cdh、bdp），包括性能调优、故障排查与恢复。
1.4 平台级运维与开发，包括数据收集、处理、存储与分析流程的设计与实施。
1.5 大数据离线与实时开发，利用SQL、Hive、Spark Streaming、Flink等技术处理大规模数据集。
2. 算法应用部署迭代：
2.1 使用Python进行脚本编写、算法应用开发、Django或Flask框架，包括但不限于数据处理、模型训练与评估。
2.2 优化现有算法，提升算法效率与准确性，确保算法在生产环境中的稳定运行。
2.3 参与算法应用的部署与迭代，包括版本控制、测试、发布与监控。
2.4 与数据科学家紧密合作，将研究成果转化为实际可用的算法产品。
3. 大模型应用探索（加分项）：
3.1 探索并应用最新的大模型技术（如Transformer、BERT等）于公司业务场景中。
3.2 研究大模型在特定领域的应用，如自然语言处理、图像识别等，推动技术创新。
3.3 评估大模型的性能与成本效益，提出优化建议。
【任职资格】
1. 深厚的Linux系统运维经验，熟悉Shell脚本编写。
2. 精通Python编程，具备扎实的编程基础与算法设计能力。
3. 深入理解大数据处理流程，熟悉Hadoop、Spark、Kafka、Flink等大数据框架。
4. 具备大数据平台部署、集群管理与运维的实战经验。
5. 有Python项目开发经验，包括脚本编写、算法应用开发、Django或Flask框架。
加分技能：
1. 对机器学习、深度学习有一定了解，熟悉常见算法与框架（如TensorFlow、PyTorch）。
2. 实际参与过算法项目，有成功案例者优先。
3. 工业软件开发与部署经验，了解软件开发周期与工具链。
4. 强大的项目管理能力，能够作为项目Leader，有效协调团队资源，确保项目按时交付。
个人素质：
1. 良好的团队合作精神与沟通能力，能够跨部门协作。
2. 积极主动，善于解决问题，对新技术保持高度好奇心与学习热情。
3. 强大的责任心与抗压能力，能在快节奏环境中保持高效工作。