爬去大众点评

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2282 天前的主题，其中的信息可能已经有所发展或是发生改变。

使用 Scrapy 爬取大众点评商铺信息（例如 URL： http://www.dianping.com/shop/19484059 ），在 def parse(self, response):函数里 response 的状态为 200，而内容却为空 body={byte} b 这是为什么

7 条回复 • 2018-08-24 11:37:15 +08:00

f2f2f

2018-08-23 21:35:55 +08:00

触发他家的安全机制了，直接返回空页面

vansl

2018-08-23 21:53:27 +08:00 via iPhone

大众点评需要控制好频率

qybing

2018-08-23 22:33:42 +08:00

@f2f2f 触发安全机制，不是应该到重定向到验证码的网页吗

f2f2f

2018-08-23 22:37:36 +08:00

@qybing 他家的重定向发生在已经进入到点评网站后。返回空白页是你直接 URL 访问的情况下。单位里公网 IP 就一个，经常遇到。

qybing

2018-08-23 22:39:53 +08:00

@f2f2f 加上 IP 代理，是否可以规避这个返回为空的问题

ksharp8

2018-08-23 22:47:02 +08:00

应该做了反爬虫处理，可以用 wireshark 抓一下包分析分析

qybing

2018-08-24 11:37:15 +08:00

我加上 IP 代理，返回为空，如果不加代理频繁访问为空，不频繁正常，这是哪里出现了问题，大佬们