数据架构-数据湖与数据集成后端开发

基础研发平台是美团的核心技术平台，立足于“零售+科技”的战略定位，通过打造人工智能、大数据、云计算、安全等核心技术能力，以及研发效能平台、企业应用平台等公共服务，为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里，我们会参与到最前沿的技术研发和探索；能够接触超规模集群、海量数据，挑战高复杂业务场景，有机会与业界一流的工程师一起并肩前行。 在这里，我们有超强的技术氛围，持续向社区贡献业界实践，加速行业技术发展；我们有完善的互联网学习生态圈，重视底层逻辑和方法论，助力职业生涯的非线性成长。 真诚地邀请你，和我们一起驱动技术发展，创造行业价值。 1. 构建实时/离线数据采集与同步解决方案，支持跨数据库、数据仓库、数据湖的数据交互。优化数据传输性能，解决高并发、大数据量场景下的延迟与容错问题。设计数据一致性保障机制，处理数据冲突、断点续传、幂等性等核心问题，确保端到端数据质量。 2. 持续迭代数据集成解决方案的架构设计，支持容灾、出海等业务场景；优化架构设计，持续降低成本。 3. 研究前沿技术（如CDC、流批一体架构），推动数据同步技术在业务场景中的创新应用。 4. 构建高性能、高可用性数据湖引擎，参与美团数据湖引擎从0到1的落地与业务推广工作，持续提升系统性能和稳定性，降低成本。 5. 驱动数据湖的周边生态建设，包括实时/离线计算引擎，查询引擎，产品开发平台等生态，助力业务基于数据湖的解决方案落地。 6. 探索AI驱动的智能数据映射能力，基于大模型理解源表schema自动生成目标表映射规则，将数据集成配置从人工逐字段编排简化为AI辅助一键生成。 岗位基本需求 1. 计算机相关专业本科及以上学历，2年以上数据集成与同步/大数据计算、存储引擎开发或数据湖相关工作经验。 2. 熟悉Java/C++编程语言，能够独立进行系统和工具开发。 3. 熟悉主流的大数据数据集成引擎和数据湖引擎，如Canal、DataX、Spark、Flink、Paimon等。 4. 熟悉分布式系统和大规模数据处理的设计和实现，具备高并发、高性能系统开发经验。 5. 具备良好沟通能力和问题解决能力，能够高效与系统上下游、业务方沟通协作。 具备以下者优先 1. 具备数据集成和同步引擎开发经验者优先，如SLS、Canal、DataX等 。 2. 具备数据湖开发经验者优先，如Hudi、Iceberg、Paimon等 。 3. 具备Flink、Spark、Presto等引擎开发经验者优先 。 4. 具备分布式计算和存储优化经验者优先。 岗位亮点 1. 负责美团数据同步解决方案的建设，推进流批一体在数据同步领域的持续优化。 2. 参与美团数据湖引擎从0到1的落地。 3. 能够接触到丰富的业务场景，包括但不限于数据开发、机器学习等，助力业务数据集成与数据湖解决方案的落地。 4. 提供良好的职业发展空间，参与解决复杂的技术问题，不断学习和成长。