李土进 电话:18718548159 邮箱: [email protected] 求职岗位:爬虫开发 个人经历:一年开发经验
实习经历
2017.06-至今 python 爬虫 广州诚益信息科技有限公司 广州市
负责用 scrapy 框架抓取医院网页医院,城市,医生等可公开数据,储存到数据库(MySQL)。 项目遇到较大难点:比较容易识别爬虫,采用封 ip 等形式反爬虫,解决方案:采用多 ip,定时更新 ip,每次更换请求 ip 以及代理浏览器应对反爬虫。 另一个难点:页面多为点击触发请求才显示数据,普通请求获取不到数据,每次 post 请求带上获取 到的参数解决。 涉及技术:MySQL,python,scrapy 框架 技能爱好
专业技能 : 1.熟悉 python,flaskweb 框架 2.熟悉 scrapy 框架,爬虫原理 ,phantomjs,selenium 爬虫辅助工具 3.了解 HTML,CSS,JavaScript,jQuery 4.了解 http 协议,Mysql 数据库 5.了解 linux(半年使用) 作品展示
网址: https://github.com/mistery-li/hospital 爬虫
1
situliang 2017-10-05 20:38:47 +08:00
不能!(这排版怕是要被大佬骂)
|
2
litujin1123 OP @situliang 不敢了,明天部署到 github 上再来问了。嘻嘻
|
3
wangxn 2017-10-05 23:42:25 +08:00 via Android
茂名人路过。
|
4
dobelee 2017-10-06 11:05:49 +08:00 via Android
难。
|
5
litujin1123 OP @wangxn 哪里看出来茂名人
|
6
pthtc 2017-10-06 12:40:28 +08:00
好像……不能吧,我一产品开发经历都比你丰富很多……这个难点不就一个 ip 池的事情?
|
7
fiht 2017-10-08 14:16:47 +08:00
难。
|
8
cominghome 2017-10-11 15:00:29 +08:00
找实习肯定没问题,进大厂看运气,话说广州有啥靠谱的公司吗?
|