数据工程实习生（数据清洗与采集方向）

1. 负责多源异构数据的采集、清洗、规整与入库工作，支持结构化、半结构化等多种数据格式的处理。 2. 运用 Python、SQL 编写数据处理脚本，完成字段解析、格式标准化、数据去重、实体关联、数据拆分与批量导入等治理工作。 3. 参与核心数据主库建设，以基础主数据表为核心，梳理数据主体维度，关联拓展多维度明细数据，完善数据资产体系。 4. 参与数据标准化治理，完成主体名称、唯一标识编码等核心字段的统一规范与跨源关联映射。 5. 开展全链路数据质量校验，覆盖数据量级、重复值、空值、字段完整性等维度，记录异常数据并协助排查问题根因。 6. 负责数据处理任务的分批执行、运行监控与日志管理，支持断点续处理机制，保障任务稳定性，避免数据重复处理。 7. 配合技术团队完成测试环境的数据导入、表结构核对与结果验收，严格遵守数据操作权限与安全规范，非经审批不得操作生产环境数据。 8. 沉淀数据来源、处理规则、操作流程与任务结果，输出标准化的操作文档与交接材料。

1. 本科及以上在读，计算机、软件工程、数据科学、统计学、信息管理等相关专业。 2. 每周可到岗 4 天及以上，连续实习 3 个月及以上。 3. 熟练掌握 Python，能使用 Pandas、NumPy 等数据工具完成数据读取、清洗、转换与统计，可独立编写基础数据处理脚本。 4. 熟练掌握 SQL 语法，了解 PostgreSQL、MySQL 等主流关系型数据库，可完成数据查询、去重、关联、统计与批量导入等操作。 5. 具备大规模数据处理意识，了解分批处理、流式读取、断点续传、日志记录等基本数据处理方法。 6. 工作严谨细致，具备良好的数据敏感度，重视数据准确性与可追溯性，能按要求完成多维度数据核对工作。 7. 具备代码阅读与基础修改能力，可遵循现有脚本规范、表结构与数据标准开展工作，严格保护原始数据安全。 8. 具备较强的学习能力与沟通协作能力，能独立推进分配任务，也能配合团队完成数据治理相关工作。 优先条件： 1. 有结构化数据清洗、数据治理相关实习或项目经验。 2. 有数据采集、网页解析或接口数据对接经验，熟悉 requests、BeautifulSoup、Scrapy 等工具中的一种或多种。 3. 有数据去重、实体匹配、字段标准化治理相关经验。 4. 熟悉 Linux 环境与基础 Shell 命令，可完成日志查看、脚本运行与文件管理操作。 5. 有 PostgreSQL 批量数据处理、CSV/JSONL 等格式文件处理经验。 6. 了解数据质量体系、数据分层、主明细表设计等基本数据治理概念。