• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 37 天前的主题，其中的信息可能已经有所发展或是发生改变。
岗位职责：
1.负责爬虫系统的核心技术研究、架构设计、系统规划
2.负责爬虫核心算法的策略优化，提升网页抓取的效率和质量
3.研究各种网页、微信、app 接口，实现多通道抓取
4.反爬策略的设计及优化
5.负责业务需求分析、系统设计、开发计划的制定与跟进
6.负责爬虫系统研发过程跟进、代码 review 、质量控制
任职要求：
7.根据项目需求攻破网站 APP 端防御系统后并爬取数据
1.负责开发网页数据的自动化爬取脚本程序及自动化解析脚本程序，清洗、分类已解析的互联网数据
2.负责自动化数据解析系统的部分模块开发，参与核心爬虫系统架构设计、数据库设计
分析爬虫系统的技术缺陷，对策略架构作出合理地调整和改进
3.2 年以上相关工作经验且精通 Python 语言，熟悉网路架构、爬虫程式原理，有开发爬虫框架及自动上传的经验优先
4.熟悉多线程、网路编成，精通网页抓取原理及技术，能从结构化和非结构化的数据中获取信息
5.熟练使用 MySQL 数据库，掌握 Redis 、MongoDB 、Hive 等常用 NoSQL"
联系方式：telegram:@bobi608
1.负责爬虫系统的核心技术研究、架构设计、系统规划
2.负责爬虫核心算法的策略优化，提升网页抓取的效率和质量
3.研究各种网页、微信、app 接口，实现多通道抓取
4.反爬策略的设计及优化
5.负责业务需求分析、系统设计、开发计划的制定与跟进
6.负责爬虫系统研发过程跟进、代码 review 、质量控制
任职要求：
7.根据项目需求攻破网站 APP 端防御系统后并爬取数据
1.负责开发网页数据的自动化爬取脚本程序及自动化解析脚本程序，清洗、分类已解析的互联网数据
2.负责自动化数据解析系统的部分模块开发，参与核心爬虫系统架构设计、数据库设计
分析爬虫系统的技术缺陷，对策略架构作出合理地调整和改进
3.2 年以上相关工作经验且精通 Python 语言，熟悉网路架构、爬虫程式原理，有开发爬虫框架及自动上传的经验优先
4.熟悉多线程、网路编成，精通网页抓取原理及技术，能从结构化和非结构化的数据中获取信息
5.熟练使用 MySQL 数据库，掌握 Redis 、MongoDB 、Hive 等常用 NoSQL"
联系方式：telegram:@bobi608
目前尚无回复
Select Language