python爬虫工程师

工作职责 1. 负责公司级数据采集体系的架构设计与核心模块开发，构建高并发、高可用的分布式爬虫集群，保障数据抓取的稳定性与时效性。 2. 主导复杂网站的反爬策略攻坚，针对签名加密、JS混淆、验证码、动态渲染等各类拦截机制设计针对性突破方案，持续提升采集成功率。 3. 负责爬虫框架的二次开发与性能优化，完善异步调度、限流降级、代理池管理、异常重试等通用组件，降低运维成本与资源消耗。 4. 对接数据存储与下游消费链路，根据业务场景完成数据清洗、结构化落库及消息管道传输，保障数据质量与流转效率。 5. 跟踪前沿的反爬与逆向技术，沉淀技术文档与最佳实践，推动团队采集技术栈的迭代升级。

1. 统招本科及以上学历，计算机相关专业，3年以上Python爬虫开发实战经验。 2. 精通Python编程语言，具备良好的代码规范与模块化设计思维，掌握Go或Java语言者优先。 3. 精通HTTP/HTTPS网络协议，能熟练使用Charles、Fiddler、Wireshark等抓包工具分析请求链路，可独立处理Cookie、Session、Token等各类认证机制。 4. 熟练掌握Scrapy框架，具备框架源码级二次开发或自定义组件开发经验，深刻理解异步IO、并发控制、流量削峰等底层逻辑。 5. 具备丰富的Web端反爬对抗经验，能熟练应对IP封禁、动态UA、请求签名、数据加密、字体反爬、JS混淆等常见反爬手段。 6. 熟练掌握XPath、CSS选择器、正则表达式等解析技术，可处理复杂DOM结构；熟悉JSON、XML、Protobuf等各类数据交互格式。 7. 熟悉Selenium、Playwright、Puppeteer等至少一种动态渲染工具，可解决异步加载、Ajax接口抓取、登录态保持等复杂交互场景问题。 8. 熟悉PostgreSQL、Elasticsearch、Doris等数据库及阿里云OSS等对象存储服务，能根据数据特性选型合适的存储方案；熟练使用Git及Linux常用操作命令。 补充说明 1. 具备以下经验者优先：有Scrapy-Redis、Celery等分布式爬虫调度系统落地经验；自建并维护过高可用代理池，熟悉代理质量评估与自动切换机制；熟悉浏览器指纹原理，有指纹池构建经验；掌握基础JS逆向能力，能通过Node.js或PyExecJS完成调试；有Kafka、Pulsar等消息队列对接经验；有开源项目或技术博客输出习惯。