数据采集师

岗位职责

工作职责：

1、开发和维护高质量的Python爬虫程序，从各种网站和API中收集所需数据；

2、分析并解决网站反爬虫措施，确保稳定持续的数据获取；

3、设计合适的数据存储方案，确保数据的完整性和安全性；

4、与数据团队合作，进行数据清洗、转换和整合，以支持数据分析和挖掘工作；

5、监测爬虫系统性能，进行优化和调整，以确保高效率和低延迟。

职位要求：

1、扎实的Python编程能力，熟悉异步编程和多线程/多进程技术；

2、深入了解HTTP协议和网页结构，能够进行网页内容解析和数据提取；

3、熟悉常见的爬虫框架，如Scrapy、Beautiful Soup等，并能根据需要进行定制开发；

4、具备网络安全和隐私意识，能够合规地进行数据收集和存储；

5、对于反爬虫机制有深刻的理解，能够应对常见的反爬虫手段；

6、熟悉常见的数据库系统，如MySQL、MongoDB等，能够设计和优化数据存储方案；

7、具备基本的数据处理和清洗能力，了解数据分析的基本流程和方法；

8、良好的沟通能力和团队协作能力，能够与数据团队紧密合作，理解需求并提供支持。