这是一个创建于 2876 天前的主题，其中的信息可能已经有所发展或是发生改变。
自己一个网站，都是自己辛辛苦苦用键盘敲出来的数据，纯原创站，自己很用心在做这个网站，但是说实话，一个新手都可以用火车头不费吹灰之力把我的网站数据全爬过去，其实如果不是谷歌的话，我想了很多种防爬虫的手段，比如：
- js 生成数据，抓取 phantomjs 之类的 headless 浏览器的特征码， ban 掉它
- 同一个 ip 短时间内抓取数据太多， ban 掉它
- 没有 header 之类的访问， ban 掉它
- 检测客户端访问抓取 css 文件没有，没有的话就 ban 掉它
- 客户端 js 加密一个 token ，和服务器端公用一个 key 来解密，每次提交都要验证这个 token
- 学习Flickr一样，任何搜索结果只显示4000个结果，避免一次性清仓大处理被爬虫抓完了，后台把sitemap所有数据提交给谷歌，但是貌似这样会不会伤及SEO，毕竟内链之间就断开了
感觉这些合在一起基本可以过滤大部分新手了，但是，这些很有可能把可爱的谷歌爬虫给误伤了，现在服务器端验证 header 为 Googlebot 貌似也不起任何作用，都可以伪造，大家有哪些防爬虫但是不会误伤谷歌爬虫的完美方法？讨论一下，谢谢
 |
1
just4test 2017-01-18 11:29:42 +08:00  1
不是可以通过 IP 验证吗
|
 |
2
alwayshere OP @just4test 谷歌有哪些 ip ？
|
 |
3
vbs 2017-01-18 11:36:06 +08:00
搜索关键字：
google crawler 验证 |
|
4
alwayshere OP @vbs 谢谢，世界上搜索引擎还有很多， bing yandex 百度 搜狗之类的 感觉验证完好渺茫
|
 |
5
rocksolid 2017-01-18 12:40:19 +08:00
如果不嫌麻烦能不能先放部分数据，部分垃圾数据，等过个一两天再把真实数据更新上去
|
 |
6
gouchaoer 2017-01-18 12:42:12 +08:00 via Android
天真
|
 |
7
binux 2017-01-18 12:44:08 +08:00
没有。即使假设有，再不济，我去抓 google 不就好了。
|
 |
8
danmary61 2017-01-18 12:45:30 +08:00
这个真没有
|
 |
9
KeepPro 2017-01-18 12:45:55 +08:00 via Android
把所有的数据展示都放到 canvas 里面显示，或者生成图片。
|
 |
10
annielong 2017-01-18 12:48:40 +08:00
折中方案就是显示一半，剩下的加个强验证，通过后显示，
|
 |
11
sobigfish 2017-01-18 12:49:56 +08:00
不用每次访问都验证 IP 啊，首次见的（疑似） bot 验证，过了的 IP 就加入到你特定的白名单里
|
 |
12
Zzzzzzzzz 2017-01-18 12:50:41 +08:00
没有， 而且各引擎为了评估网站是否针对它们吐数据作弊， 都会有其他非公开的 UA 和 IP 段的爬虫做检验， 你这样反而适得其反
|
 |
13
mnhkahn 2017-01-18 12:51:52 +08:00
useragent 可以判断
|
 |
14
golmic 2017-01-18 12:54:41 +08:00 via Android 2
楼主能不能告诉我地址我想练练我的爬虫技能...
|
 |
15
doubleflower 2017-01-18 13:26:16 +08:00
内容里面随机插网站名字 /网址，别人相当于给你免费宣传了
|
 |
16
smallaccount 2017-01-18 13:28:35 +08:00
搜索引擎原创识别才是最根本的吧
另外就是版权的法律保护，国外如果 copy 的话貌似可以直接主机商关站的 |
 |
17
clino 2017-01-18 14:21:12 +08:00
ip 确实可以哈 https://support.google.com/webmasters/answer/80553
$ host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com. |
 |
18
TaMud 2017-01-18 14:34:57 +08:00
你都把衣服脱光了给人家看了
你说你要怎么样保护密秘？？ 你可以把整个网页变成一张图片 你也可以把整个网站做成一个 flash |
 |
19
usernametoolong 2017-01-18 15:35:06 +08:00
你不放网址我们怎么帮你提高一下？（捂脸
|
 |
20
ningcool 2017-01-18 15:58:36 +08:00
纯原创的话，一天你写不了几篇文章。所以，哪怕你技术上屏蔽了别人，你无法阻挡别人去复制啊！
|
 |
22
grayon 2017-01-18 16:57:53 +08:00
您使用的 IP 访问网站过于频繁,为了您的正常访问,请先输入验证码
|
 |
23
hyuwang 2017-01-18 17:07:14 +08:00
可以数据不要放全
让浏览引擎索引到关键字和标题就行了 用户浏览的时候多点一下才能拿到全部的 content 感觉现在挺多国外网站这么干 |
|
24
TaMud 2017-01-18 17:50:09 +08:00
难道 你们不知道 有 selenium 这东西？？？
|
 |
25
rockivy 2017-01-18 18:05:08 +08:00
插个题外话，以前还真的爬过 canvas 画的数据。比如下面这个 URL 里面：
http://v.qq.com/datacenter/0dfpyvfa7tp0ewe.html 一些具体的数字就是用 canvas 画出来的。 办法就是先截图，然后调用 OCR 识别图片上面的数字。 当时用的 tesseract ，对数字的识别准确率还蛮高的（当然对图片有些简单的放大和二值化处理之后，准确率才上来的）。 不过，上面这个腾讯的视频指数页面，有些别的反爬处理，很难搞，最终还是放弃了。 |
 |
26
shiny 2017-01-18 18:08:17 +08:00
不知道有没有人可以通过法律角度讲讲可以怎么做。
|
 |
27
lan894734188 2017-01-18 18:09:22 +08:00 via Android 1
把 Google 的 as 添加到白名单
|
 |
28
lgpqdwjh 2017-01-18 18:24:07 +08:00
我们是实现一个 漏桶 来处理这样的事情的， 针对流量分析一下 ip 均匀请求量 自动调整漏桶大小， 如果爬的比较猛就直接 ban 掉 ip ， 值得一提的是 这样的方法防不住有心的爬虫， 总的来讲我们是想挡住恶意的高频请求用户
至于完全的防爬， 我觉得是不可能懂， 人家真想要你的数据， 办法多的是。。 |
 |
29
techmoe 2017-01-18 18:28:13 +08:00 via Android
那估计就只能靠 ip 识别了
|
 |
30
yxzblue 2017-01-18 19:04:14 +08:00
楼主是产品？
|
 |
32
dsg001 2017-01-18 19:26:58 +08:00
只担心 googlebot ，不担心真实用户吗，在乎 seo 就别在乎爬虫，只要爬虫直接去爬 google 缓存，再强的反爬虫策略也没用
|
 |
33
ioioioioioioi 2017-01-18 19:30:29 +08:00 via iPhone
谷歌蜘蛛可以判断 ip 的 hostname
|
 |
34
professorz 2017-01-18 20:07:38 +08:00
客户端生成 cookie 二次请求才呈现数据 很多航司网站是这样做的 你可以找一下相应的工具
|
 |
35
misaka20038numbe 2017-01-19 00:04:00 +08:00
没有,再厉害你能把用户的屏幕给关了吗?所以你可以换一种方式,比如让文章个性化,让别人一看就知道是你.
|
 |
36
WildCat 2017-01-19 00:17:28 +08:00 2
不可能，我可以模拟得你监测不出来。
Keywords: - nightmare - phantom - selenium |
 |
37
samuel 2017-01-19 00:32:25 +08:00 via iPhone
并没有，只要正常的用户能看到，爬虫就能爬到，只能尽量在不损害正常用户的体验情况下，提高爬虫获取数据的成本
|
 |
38
llhh 2017-01-19 09:46:47 +08:00
没有。
|
 |
40
libook 2017-01-19 10:24:42 +08:00
前端分两套，正常业务页面和 SEO 页面，把能暴露出去的且希望搜索引擎爬到的防盗 SEO 页面里，正常页面做好防爬措施，使用流量技术+搜索引擎配置的方式引导搜索引擎去爬 SEO 页面。
|
 |
41
breeswish 2017-01-19 10:33:29 +08:00
只要网站还允许普通人访问就阻止不了(定向开发的)爬虫，只能提高门槛。
模拟浏览器行为绕过客户端验证：楼上 WildCat 说了 模拟网络绕过 IP 验证：代理池 另外也可以直接爬谷歌 :) |
 |
42
lisir 2017-01-19 17:08:15 +08:00
咋不放出网站
|
 |
43
param 2017-01-19 18:58:42 +08:00 via Android
Google 访问的时候自带了 user agent ，写明是 Google bot ，但是，如果爬虫知道你的规则并且伪装 Google bot 的话。。。。
|
|
44
param 2017-01-19 18:59:34 +08:00 via Android
Google 没有一种机制可以验证 Google bot 的身份吗？不如说自带给 token ，需要验证这个 token 才知道它是不是 bot
|
 |
46
zyjhkd 2018-08-09 07:57:38 +08:00
你好，这样的程序 好做吗？留个联系方式哈，打包出售吗？
|
Select Language