这是一个创建于 956 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景：
对某一个网站进行定时爬虫，每次都会爬下来大量的文件，每次都会将文件记录下来，也可以顺便记录文件 md5 。
记录存储在 mysql ，es ？
在 n 次的爬虫，需要与第 n-1 次的爬虫 两次爬下来的所有文件进行对比，把有变化的文件进行分析
有什么比较好的办法 后端是 java
对某一个网站进行定时爬虫，每次都会爬下来大量的文件，每次都会将文件记录下来，也可以顺便记录文件 md5 。
记录存储在 mysql ，es ？
在 n 次的爬虫，需要与第 n-1 次的爬虫 两次爬下来的所有文件进行对比，把有变化的文件进行分析
有什么比较好的办法 后端是 java
 |
1
raaaaaar 2022-04-11 20:22:40 +08:00  1
redis hash ，文件名 -> md5 ？
|
 |
2
fishCatcher 2022-04-11 20:31:25 +08:00 via iPhone 1
量很大的话可以考虑一下 Merkle tree
|
 |
3
documentzhangx66 2022-04-11 20:44:06 +08:00 1
想躺就直接 md5 然后存 mysql 。
不想躺： 1.文件尺寸。 2.文件固定位置抓 4 个点。 3.文件固定位置抓 8 个点。 4.xxHash 。 这 4 个步骤相当于剪枝，性能完爆 md5 。 |
 |
4
quxinna 2022-04-11 20:47:01 +08:00
beyond compare
|
 |
5
mengzhuo 2022-04-11 20:54:06 +08:00
|
 |
6
polarbear007 2022-04-11 21:28:10 +08:00 1
这种情况，记录 md5 可能不太合适吧。 因为要计算 md5 的话，你需要先把文件下载下来才行（除非网站有提供每个文件的 md5 值）。 看看有没有办法在下载文件之前，先对页面上的其他信息进行分析，确认文件是否下载过。比如文件名，所在页面 id 之类的。
|
 |
7
tidos 2022-04-11 21:39:54 +08:00 1
Merkle tree. DynamoDB 用的就是这个
|
Select Language