问：多个 Excel 文件共百万条姓名手机号如何快速去重合并成一个文件？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1569 天前的主题，其中的信息可能已经有所发展或是发生改变。

第 1 条附言 · 2020-08-05 14:32:24 +08:00

用 PHP 写完了，感谢各位！！！

文件

EXCEL

合并

姓名

24 条回复 • 2020-08-06 12:13:39 +08:00

Asshasahole

2020-08-05 11:17:52 +08:00

招几个人, 每个人划分号段区间, 挨个复制号段内的手机号, 粘贴到新的 Excel 里, 粘贴前搜索一下排重.
最后几个人的 Excel 复制+粘贴合并就行啦, 注意新的 Excel 要同一个格式噢.

Excel 的函数应该可以做到文件内去重吧?

runking

2020-08-05 11:19:35 +08:00

可以帮你解决，有偿

yvshen

2020-08-05 11:21:29 +08:00

编程解决吧，用 java 、python 写个脚本

tmkook

2020-08-05 11:24:23 +08:00

@runking 我会编程，就是想看看坛子里大神们是否有不用编程的快捷方法，或是否有轮子可用

Pho3nix

2020-08-05 11:25:07 +08:00

pandas

LiYanHong

2020-08-05 11:28:24 +08:00

先合并成一个文件，用 excel 里自带的去重功能试试

iamwho

2020-08-05 11:32:32 +08:00

“我要用记事本开始记事了！”

dexterzzz

2020-08-05 11:36:24 +08:00 via Android

power bi，power query 合并文件

renmu123

2020-08-05 12:35:36 +08:00 via Android

用 pandas 太简单，预计十几行解决

xyd1205148795

2020-08-05 12:48:25 +08:00

如果格式一样，直接放一个文件夹里，然后用 excel 从文件夹查询加载就好了，不过 excel 加载的行数有限制，好像一百多万行

Croxx

2020-08-05 12:50:39 +08:00 via iPhone

x 产？

Vegetable

2020-08-05 12:52:58 +08:00

@LiYanHong #6 这样一般电脑都受不了...

tmkook

2020-08-05 13:37:08 +08:00

@Croxx 不是 H 产，绝对是正向的！！！

qiayue

2020-08-05 13:39:26 +08:00

转成 csv，用程序处理

tmkook

2020-08-05 13:39:43 +08:00

@LiYanHong
@Vegetable
@xyd1205148795 本来想用 VBA 搞，但是百万级数据还没试过估计会卡死。目前想法是先导入 Mysql 然后再写代码查询去重。

liprais

2020-08-05 13:41:46 +08:00

pandas.read_excel 完事

cmllwxxl

2020-08-05 13:42:10 +08:00

Snapde 用这个简单

admin7785

2020-08-05 13:44:25 +08:00 via iPhone

@tmkook #15 百万条数据，字段不多的话（ excel 文件不是很大的话），倒入数据库还是可以的，我 60 多兆，倒入半个小时左右

opengps

2020-08-05 13:45:06 +08:00

导入数据库，几行 sql 搞定，不超过 10 分钟

ccoming

2020-08-05 13:48:35 +08:00

@dexterzzz +1 。power query 好了，16 版本里面就有这组件。

xinghen57

2020-08-05 14:46:30 +08:00 via iPhone

1 、转成 csv，找个编辑器（比如 emeditor ）直接去重
2 、导入数据库，去重
这数据量对 excel 太大了。

xinghen57

2020-08-05 14:47:42 +08:00 via iPhone

猛然惊觉，你这是找解决方案来了😂

TimePPT

2020-08-05 15:45:13 +08:00

@xinghen57 都转成 csv 了，直接合并了 sort -u 搞定

594duck

2020-08-06 12:13:39 +08:00

最简的就是导入 Access，然后一把搞了。