众所周知,豆瓣电影短评在未登录的情况下只能抓取到 200 条,我今天试了试登录,却也只能抓取到 500 条,然后我手动翻了下短评,发现真的只能查看 500 条,从根本上杜绝了爬虫,这也太狠了吧。这种杜绝大翻页的行为感觉「伤敌一千,自损八百」呢?!
1
leido 2019 年 2 月 9 日 via Android 正常人能看 500 条?
|
2
tongyifan 2019 年 2 月 9 日 via Android
楼上正解
|
3
murmur 2019 年 2 月 9 日
一般人可能只看评分和首页评论
|
4
Biwood 2019 年 2 月 9 日
豆瓣电影短评翻页不知道什么时候改成异步加载的,我记得以前都是同步的
|
5
Eiden 2019 年 2 月 9 日 via Android
微博粉丝不也一样
|
6
panpanpan 2019 年 2 月 9 日 via iPhone
大概一年多以前就是这样了吧。
|
7
crab 2019 年 2 月 9 日
试下 app 端有没有限制
|
8
locoz 2019 年 2 月 9 日 via Android
正常人也不会看那么多
|
9
MoHen9 2019 年 2 月 9 日 via Android
豆瓣的 APP,每次在后台运行就跟重启一样,一点儿你之前浏览了什么的痕迹都不留,这点非常差劲。
|
10
x86 2019 年 2 月 9 日
正常人翻了 10 页左右我都觉得他闲得慌
|
11
zwithz1998 2019 年 2 月 10 日
去年课设要求做豆瓣爬虫,买了代理池才搞定
|
12
zhang2e OP 的确正常人是不会看 500 条🤦♂️
|