1
Jojoy 2022-10-01 12:54:34 +08:00
换句话:有没有倒贴宽带钱给用户的网站。
|
2
0o0O0o0O0o 2022-10-01 12:59:28 +08:00 2
按照 robots.txt 来应该就可以
|
3
ly879 OP 更新:网站根目录下有个 robots.txt 文件表明是否允许爬虫。
|
4
qianxaingmoli 2022-10-01 13:04:30 +08:00
新手入门案例都是豆瓣,豆瓣在反爬上比较友好一点
|
5
Chaidu 2022-10-01 13:15:58 +08:00
你用 Google 能搜索到的网站都是“公开授权的可以允许爬虫的网站”
|
6
kasusa 2022-10-01 20:59:50 +08:00
煎蛋网好多人都爬爬)
|