推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2689 天前的主题，其中的信息可能已经有所发展或是发生改变。
为什么买到的代理都被识别出来了，自己的 ip 又可以爬取，但是爬取评论必须要 cookie，所以我怀疑是不是 ip 被加密到 cookie 里面，有没有老哥说说
 |
1
scukmh 2018 年 9 月 9 日
这不是很正常的操作嘛？自己做一下 Web 开发就知道了啊，很多框架，比如 flask-login，默认的安全级别就是会加入 ip 地址验证的，建议你去爬手机客户端还靠谱一点。
|
 |
2
Mrrrrr10 OP 客户端的信息被隐藏了，都是乱码
|
 |
3
fork3rt 2018 年 9 月 10 日
我做过大众点评的采集，貌似是这样的。不过我的解决方案就是 IP 代理池，完全没问题啊。
|
 |
4
rocketman13 2018 年 9 月 10 日
代理 ip 也分质量的
|
 |
7
fx0719 2018 年 9 月 12 日
大佬能分享下代码吗？谢谢
|
|
10
fork3rt 2018 年 9 月 12 日
@Mrrrrr10 嗯，我也抓的评论。 貌似有 302 的情况，不过我做了判断，只处理 status_code 200,其他的情况 我都是立刻更换代理，然后重试。
|
|
14
fork3rt 2018 年 9 月 14 日
|
 |
15
qybing 2018 年 9 月 14 日 via iPhone
我也是遇到这个问题，似乎 IP 代理被识别出来了，你们都是登录过去抓的吗？如果要大规模抓取，这样岂不是要有很多账号？
|
|
16
fx0719 2018 年 9 月 17 日
楼主 github 地址多少，我关注一波
|
 |
17
yxh18600224123 2018 年 10 月 9 日
最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取
|
Select Language