爬虫架构师 岗位职责: 1.负责反反爬虫技术难点攻坚 2.参与分布式爬虫和数据采集系统的架构设计和开发 岗位要求: 1.五年以上爬虫工作经验,精通 Linux python 后端开发,熟悉 java 开发 2.丰富的电商数据爬取经验 3.熟悉大数据基础组件的使用,如 spark,hbase,hive,kafka 4.熟悉各类反爬虫策略,并有丰富的反反爬虫实战经验 5.加分项:大规模分布式爬虫开发经验、数据分析、机器学习建模能力