深圳芯片互联网公司诚聘： 2 名爬虫工程师

岗位：爬虫工程师
工作地点：深圳福田


1.性别：不限
2.年龄：23~35
3.学历：全日大专及以上
4.工作年限：2 年以上
5.薪资范围：10k~20k

1 、分布式爬虫系统的架构设计与开发；
2 、负责多平台信息的抽取、去重、分类、解析、增量；
3 、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
4 、能独立解决实际开发过程碰到的各类问题；

1 、2 年以上相关工作经验，熟悉 linux 平台开发；
2 、扎实的 Python 基础，熟悉 Web 、APP 破解爬虫，掌握反爬虫技术；
3 、掌握常见爬虫库和框架，如 urlib 、requests 、Scrapy 、Selenium 等，有实际项目经验；
4 、熟悉基于正则表达式、Xpath ，CSS 选择器等网页信息抽取技术，和动态页面 JS 解密；
5 、熟练使用 redis 、mongodb 、mysql 等流行数据库技术;
6 、有单日百万级数据量抓取，复杂验证码破解和自然语言处理等经验者优先；
7 、有良好的学习和理解能力，编码规范和习惯，以及设计、开发和文档编写能力。