数据采集工程师(电商数据基座方向)

泉州 · 丰泽区 东海街道 经验不限 学历不限 1次浏览
8K-15K
企业实名认证 虚假岗位可一键举报 薪资真实分享

职位解读

数据采集工程师(电商数据基座方向)是泉州泓一食品有限公司在泉州丰泽区 东海街道发布的通用岗位,薪资范围8-15K。该岗位要求经验不限经验、学历不限学历,工作地点位于泉州丰泽区 东海街道。泉州泓一食品有限公司作为相关企业,其招聘节奏侧面反映该行业在泉州的人才需求热度。面试准备阶段,建议提前了解该岗位的业务场景与团队结构,并准备与目标行业相关的实操案例。核心工作:—、岗位职责 1. 数据基座维护与扩展:以 Python + Node.js 维护 600+ 已验证端点的统一客户端与端点参数表,从页面流量自动发现新端点。关键要求:(必备:当前核心能力) 1. Python 扎实(主力语言):多线程/协程、requests/httpx、异常处理与日志。

岗位职责

—、岗位职责 1. 数据基座维护与扩展:以 Python + Node.js 维护 600+ 已验证端点的统一客户端与端点参数表,从页面流量自动发现新端点,扩展新平台数据基座; 2. 签名与加密对抗:维护已破解的离线签名、伪签名、加密响应解密方案;平台风控升级时独立完成新签名算法的分析与还原; 3. 登录态与采集稳定性:CDP 协议管理常驻浏览器矩阵,多账户体系的 cookie 缓存调度与登录保活,保障 7×24 数据不断档; 4. 数据入库与合规:数据三层落盘(JSONL/CSV/回采日志),手机号等 PII 字段强制掩码,端点健康探针异常自动告警补采; 5. AI 工作流与经验沉淀:用 AI 辅助端点探索、脚本生成与故障诊断,把高频场景沉淀为可复用模板,踩坑经验回写为基座资产。 二、

职位要求

(必备:当前核心能力) 1. Python 扎实(主力语言):多线程/协程、requests/httpx、异常处理与日志规范; 2. JavaScript/Node.js 能读会写:能维护现有 Node.js 采集客户端,能读懂前端加密代码; 3. CDP 协议实战:connectOverCDP 连接常驻浏览器、网络流量拦截、页内 fetch 重放; 4. 接口分析能力:DevTools/Charles 抓包,见过常见签名与加密方案(摘要签名/参数签名/CSRF token),能上手分析陌生接口; 5. SQL 与数据格式处理:SQL 查询清洗,JSON/JSONL 解析校验; 6. 数据严谨性:PII 掩码是纪律不是选项;不伪造、不臆测、缺数如实上报; 7. 学习能力与 AI 应用:平台风控和签名算法持续演进,要求持续跟进新技术;熟练使用 AI 工具(ChatGPT/Claude/Cursor 等)辅助分析、开发与排障,能判断 AI 产出质量并修正。 三、任职要求(加分:拓展方向能力) 1. JS 逆向进阶:AST 语法树分析、混淆代码还原、webpack 解包,有签名算法还原业绩(a_bogus/X-Bogus 类任一); 2. APP 端采集:抓包工具链(mitmproxy/Charles)、Appium,有移动端接口分析经验; 3. 网络层对抗:TLS/HTTP 指纹(JA3/JA4)、curl-cffi 浏览器指纹模拟; 4. 无人值守运维:守护进程、定时调度、告警推送、断点续传的完整体系搭建经验; 5. AI 深度应用:有 AI Agent 工作流搭建经验(Prompt 工程、MCP 工具链、把重复场景沉淀为可复用 Skill/模板); 6. 工程化思维:端点表驱动、统一客户端封装、配置与代码分离(我们反对手搓裸请求脚本); 7. 领域经验:国内电商平台或第三方数据平台(生意参谋/蝉妈妈/罗盘/千川类工具)的采集实战。

还没有该企业的面试经验,快来补充第一份面经~

我来分享面试经验
数据采集工程师(电商数据基座方向)
8K-15K