职位解读

python工程师(爬虫)是宁波渠成集团有限公司在宁波鄞州发布的通用岗位,薪资范围10-15K。该岗位要求1-3年经验、本科学历,工作地点位于宁波鄞州。宁波渠成集团有限公司作为相关企业,其招聘节奏侧面反映该行业在宁波的人才需求热度。面试准备阶段,建议提前了解该岗位的业务场景与团队结构,并准备与目标行业相关的实操案例。岗位职责包括:1、负责公司数据源抓取需求,满足公司对多源数据采集要求; 2、负责开发分布式爬虫框架,管理分布式爬虫服务器,开发任务调度引擎; 3、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量,提升网页抓取的效率和质量; 4、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、JS加。任职要求为:1、有扎实的数据结构和算法功底; 2、工作认真细致踏实,有较强的学习能力,熟悉常用爬虫工具; 3、熟悉linux开发环境,熟悉python等,熟悉其他开发语言优先; 4、理解http,熟悉html, 。

python工程师(爬虫)

宁波 · 鄞州 1-3年 本科 7次浏览 0人投递
职位来源:智联招聘 · 查看原职位 ↗
10K-15K

岗位职责

1、负责公司数据源抓取需求,满足公司对多源数据采集要求; 2、负责开发分布式爬虫框架,管理分布式爬虫服务器,开发任务调度引擎; 3、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量,提升网页抓取的效率和质量; 4、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、JS加密等难点攻克; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求; 6、负责RPA相关开发工作,提升业务能效; 7、负责部分AI(RAG)相关开发工作。

职位要求

1、有扎实的数据结构和算法功底; 2、工作认真细致踏实,有较强的学习能力,熟悉常用爬虫工具; 3、熟悉linux开发环境,熟悉python等,熟悉其他开发语言优先; 4、理解http,熟悉html, DOM, xpath,css,js,ajax; 5、有Python分布式抓取系统的开发、架构经验,至少熟悉并使用过一种主流爬虫架构,如Scrapy、Gocolly、Webmagic等; 6、熟悉第三方RPA软件(弘玑、影刀、UiBot等)优先; 7、熟悉RAG流程优先,熟悉AI模型、RAG框架等优先; 8、熟悉反爬策略的应对,能够解决封账号、封IP、验证码、JS加密等问题; 9、熟悉Mysql、Redis、MongoDB等数据库,有过数据库调优和海量数据存储经验者优先。

还没有该企业的面试经验,快来补充第一份面经~

我来分享面试经验
python工程师(爬虫)
10K-15K