在 1000 万行的文件里面找相同的行，并且记录行数和重复次数，用前端的代码实现

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2125 天前的主题，其中的信息可能已经有所发展或是发生改变。

咋搞？

行数

代码

重复

次数

16 条回复 • 2020-03-26 15:48:54 +08:00

Mithril

2020 年 3 月 26 日

这文件传到前端确定不会撑爆用户浏览器？

hechuanhua

2020 年 3 月 26 日

@Mithril 不知道，题目就是这样的，可以多种代码实现，但是我希望是 JS，不知道能不能解决

wednesdayco

2020 年 3 月 26 日

老生常谈，先分片。再考虑找行的事情。

VDimos

2020 年 3 月 26 日 via Android

算哈希呗

123444a

2020 年 3 月 26 日 via Android

bloom filter, 浏览器必备

luckyrayyy

2020 年 3 月 26 日

大流量查重请认准 bloom filter

asAnotherJack

2020 年 3 月 26 日

先遍历每一行按哈希拆成一万份文件，再对每一个文件找出重复的，最后整合到一起？

robinlovemaggie

2020 年 3 月 26 日

设计一款浏览器，自动实现文件实时逐行滚动读取，然后凭借一个强大的 AI 内核来完成记录分析，名字就叫：矩阵牌浏览器

reus

2020 年 3 月 26 日

for 循环不会写？

xingyuc

2020 年 3 月 26 日

先搞定提出问题的人

whatsmyip

2020 年 3 月 26 日

分治，先哈希打散到文件，然后随便你怎么搞

dremy

2020 年 3 月 26 日 via iPhone

纯 hash 费空间，1000w 的 int key 每个需要至少 3 个字节，一共 28MB，bloom filter 省大量空间，估计可以不到 100k

raymanr

2020 年 3 月 26 日

@Mithril 我觉着既然前提是浏览器不会撑爆, 那就干脆再加个一前万个 key 的字典吧..

hetiansu5

2020 年 3 月 26 日

@dremy 100K 也就 80W bit，全部占满了。

crella

2020 年 3 月 26 日 via Android

逐行算出哈希值，按哈希值的前几个字母，分类并存到各个文件，然后各个文件内在继续比较。

0bit

2020 年 3 月 26 日

HyperLogLog