V2EX › cdwyd 的所有回复 › 第 42 页 / 共 100 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 38 39 40 41 42 43 44 45 46 47 ... 100

❮

❯

2018-12-18 12:18:23 +08:00

回复了 414348489 创建的主题 › 问与答 › 小米剃须刀

@shoaly
那个我有，只能临时应急用用，有点刮不动的感觉，也可能是我的胡子太硬了。

2018-12-18 02:01:23 +08:00

回复了 toma77 创建的主题 › 问与答 › lg 电视上门安装收费？

@setv528
来一个 2000-3000 之间 55 寸的型号

2018-12-17 19:21:44 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@xpresslink
这种毫无逻辑的讨论就没意思了，我说东你扯西。

2018-12-17 19:08:48 +08:00

回复了 toma77 创建的主题 › 问与答 › lg 电视上门安装收费？

@sudoz 可拉倒吧

2018-12-17 18:08:46 +08:00

回复了 toma77 创建的主题 › 问与答 › lg 电视上门安装收费？

@sudoz 确实不是，买低端大法的那种才是

2018-12-17 18:05:50 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@xpresslink
这个真的是班门弄斧了

2018-12-17 17:23:02 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@luosuosile
单篇的漫画肯定给用户看全，但是没有必要把全部的内容到从列表页显示出来。

2018-12-17 17:21:07 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@luosuosile
通过搜索引擎只能获取到很有限的一部分链接，所以基本上抓取到的也就很有限。

楼上好几个人在那不断强调“只要人看到的，就能抓到”，“只要有链接就能抓到”，却不明白混淆 ID 就是为了不让你获取全部链接。抓取内容的第一步就是先获取到链接，链接都没拿到还爬个毛线啊。

如果还有人要杠，那再举两个例子：
1. 淘宝的绝大多数商品人都能看到，你能把淘宝的绝大多数商品都抓到吗？
2. 搜索引擎那里有海量的链接，你能抓到总量的 0.000000001 吗？

2018-12-17 16:40:10 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@xpresslink 你赢了

2018-12-17 16:06:35 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine
你这三年的爬虫经验算是白瞎了，这种理解能力怎么能 get 用户的真实需求

2018-12-17 11:53:21 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine 你没看明白我在说什么。
打个比方，v2ex 的列表页只显示最新的 100 条记录，同时 V2EX 的 id 进行了混淆处理。这个时候你就不容易获取到全部内容。
那些不显示的并不是删除了，用户也能看得到，可以从链接从搜索引擎来访问，而你却抓取不到那些有价值的内容。

2018-12-17 10:54:04 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine 这样你最多也就只能抓取到从你开始抓那天开始发布的新内容。