数据采集组长

岗位职责

重点：具有2年以上的项目爬虫经验，最好是国外电商网站的商品数据抓取，有自主搭建IP代理池的技术能力，对防爬取有丰富的对抗经验1. 熟练掌握Python爬虫框架Scrapy；2. 熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术；3. 熟悉常见的反爬虫机制解决办法（熟悉深度抓取，动态数据获取，模拟登录、代理等技术）；4. 熟练调用模拟浏览器进行数据抓取，包括 Selenium 、Puppeteer 、Splash 等；5. 能熟练应对 IP 封禁、参数加密、验证码、字体反爬、人机检测、账号封禁等反爬措施；6. 熟悉SqlServer、mysql、redis等数据库等数据库；7. 熟练掌握网页抓取原理及技术，网页解析过程，具备数据的过滤、清洗、去重、结构化导入经验；8. 熟练使用各类抓包工具，如 Charles 、Fiddler 、Wireshark 等等；