职位解读
爬虫工程师是西安易行慧通旅游发展有限公司在新乡原阳县 原兴街道发布的通用岗位,薪资范围5-10K。该岗位要求1-3年经验、大专学历,工作地点位于新乡原阳县 原兴街道。西安易行慧通旅游发展有限公司作为相关企业,其招聘节奏侧面反映该行业在新乡的人才需求热度。企业在该岗位的招聘活跃度,往往反映其在对应城市与行业的人才需求热度,可作为择业参考。岗位职责包括:工作职责 公司购买ai,可以对接使用。 1. 对接业务及政策团队的数据需求,负责机票类相关公开数据的定向采集体系搭建与日常维护,保障数据采集的及时性、完整性与准确性,为票务采购、行情分析等业务环节提供稳定的数据支撑。 2. 负责爬虫核心模块的开发与迭代优化,针对不同票务平台的页面。任职要求为:1. 大专及以上学历,计算机相关专业,具备扎实的编程基础,熟练掌握Python等至少一门爬虫开发常用编程语言。 2. 熟悉主流爬虫技术栈,掌握Requests、Scrapy、Selenium/Play。
爬虫工程师
新乡 · 原阳县 原兴街道 1-3年 大专 1次浏览
1小时前发布
5K-10K
企业实名认证
虚假岗位可一键举报
薪资真实分享
岗位职责
工作职责
公司购买ai,可以对接使用。
1. 对接业务及政策团队的数据需求,负责机票类相关公开数据的定向采集体系搭建与日常维护,保障数据采集的及时性、完整性与准确性,为票务采购、行情分析等业务环节提供稳定的数据支撑。
2. 负责爬虫核心模块的开发与迭代优化,针对不同票务平台的页面结构、接口规则设计适配性采集方案,处理采集过程中的验证码、动态渲染、IP封禁等各类反爬限制,持续提升采集效率与稳定性。
3. 完成采集数据的清洗、去重、结构化入库等全流程处理,结合业务需求输出基础数据分析结果,协助团队完成票务价格趋势、库存波动等维度的研判。
4. 搭建并完善爬虫监控与异常告警机制,及时响应采集链路故障,快速定位问题根因并完成修复,保障724小时数据采集任务的平稳运行。
5. 负责爬虫相关代码、文档的版本管理与沉淀,持续优化采集架构,推动采集流程的标准化与工程化建设,降低后续需求迭代的开发维护成本。
职位要求
1. 大专及以上学历,计算机相关专业,具备扎实的编程基础,熟练掌握Python等至少一门爬虫开发常用编程语言。
2. 熟悉主流爬虫技术栈,掌握Requests、Scrapy、Selenium/Playwright等常用采集框架与工具,能够独立完成从页面解析、接口破解到数据存储的全链路开发。
3. 具备常见反爬场景的实战应对经验,熟悉代理IP池、验证码识别、请求签名逆向、动态渲染页面处理等技术方案,有大规模分布式爬虫开发经验者优先。
4. 了解MySQL、MongoDB、Redis等常用数据库的使用,能够独立完成采集数据的结构化存储与基础查询分析,有数据清洗、处理相关经验者优先。
5. 熟练使用Git等版本管理工具,具备良好的代码规范意识与问题排查能力,能够快速响应业务需求变化,有旅游、票务类行业数据采集经验者优先。
还没有该企业的面试经验,快来补充第一份面经~
我来分享面试经验爬虫工程师
5K-10K