Baidu 这个去重逻辑是怎么考虑的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3461 天前的主题，其中的信息可能已经有所发展或是发生改变。

有图有真相。

2 条回复 • 2016-07-21 15:08:53 +08:00

just4test

2016 年 7 月 21 日

有 google 为何要用百度

Esec

2016 年 7 月 21 日 via Android

每层楼的编号(eg:1#,2#...)处都有个定位到该层的超链接，然后"那时候的"百度把每个链接都当作一个独立的页面统统爬了一次...