2G 甚至 5G 10G 的 sql 文件怎么消化？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2733 天前的主题，其中的信息可能已经有所发展或是发生改变。

不一定是传到数据库，而是能打开，能分割也行（ SQLDumpSplitter 无效），这么大个文件，用什么打开编辑都是卡死，只能用大文件查看器查看一下，也不能编辑，请问有什么办法编辑比如剪切里面的内容？

文件

编辑

SQL

剪切

32 条回复 • 2017-06-04 09:39:07 +08:00

liprais

2017-06-02 11:08:28 +08:00 via iPhone

倒进数据库看....

Fishdrowned

2017-06-02 11:09:04 +08:00 via Android

有个笨办法，先导入，再编辑，再导出

operafans

2017-06-02 11:09:40 +08:00

Toad

harker

2017-06-02 11:12:53 +08:00

找个好点的配置的主机，导入到数据库，编辑完在导出，简单有效，主要是方便编辑

baoguok

2017-06-02 11:19:27 +08:00

导入再分批次导出嘛

玩儿技术的，这都不是事儿

buir

2017-06-02 11:34:36 +08:00

卡死是你没 [耐心] 或者内存太小导致的。

wudanyang

2017-06-02 11:39:43 +08:00

先分割呗, 用 `split` 命令
```
split -b 256M file_name -d -a 4 file_prefix
```

jianghu52

2017-06-02 11:49:16 +08:00

我最大打开过 6.8G 的 sql 文件。用的 emeditor。慢是慢了一点。但是没有死。10g 的是没试验过。

gouchaoer

2017-06-02 11:52:19 +08:00

手写一行一行的读
or 用 vim 啥的

tianxiacangshen

2017-06-02 11:53:55 +08:00

@baoguok 这么大没办法导入啊

baoguok

2017-06-02 11:56:12 +08:00

@tianxiacangshen mysql cli 中，试试 source load xx.sql

bookit

2017-06-02 12:01:08 +08:00

UltraEdit

禁止临时文件
禁止显示行号
禁止文件（回车 & 换行符）转换
禁止代码折叠
禁止显示函数列表
设置打开 XML 大文件阈值
禁止语法高亮
禁止列表变更指标（ LCI ）

2ME

2017-06-02 12:06:49 +08:00 via Android

@tianxiacangshen
为什么没办法导入命令行设置编码 source 导入很快上午刚导入一个 4g 不到的 sql 文件

mahone3297

2017-06-02 12:08:37 +08:00

@2ME 4g 导入，差不多要多久？

congeec

2017-06-02 12:13:50 +08:00

...............
楼主你听说过 vim 么？

blankme

2017-06-02 12:19:04 +08:00 via Android

你能导出还不能导入么...
而且只要内存够，vim 随便看随便编辑

2ME

2017-06-02 12:38:12 +08:00

@mahone3297 没注意很快几分钟都不到

tianxiacangshen

2017-06-02 13:03:12 +08:00

@jianghu52 这是个神器啊，13G 打开毫无压力，还能“增删改查”

likuku

2017-06-02 13:06:06 +08:00

转 csv，split 指令直接按行切分成多文件。

grep,sort,awk, 配合起来用，筛出数据都可以。

内存够大（超过文件体积)，那么 vim 吧，快速定位行，复制黏贴，都可以。

XiaoFaye

2017-06-02 13:41:27 +08:00

你是没用过 UltraEdit 这个神器吧?

reus

2017-06-02 13:55:02 +08:00

ed 啊

artandlol

2017-06-02 14:00:29 +08:00 via Android

使用 mysqldump -tab 导出每想单独的表
估计是你本身的原因我打开 11G 的文件嗯正常

msg7086

2017-06-02 15:15:57 +08:00

没记错的话 EmEditor 有专门用来处理大文件的功能，直接选定某个局部区域打开就行了。

jhdxr

2017-06-02 15:30:04 +08:00

emeditor 我最高处理过一个单个 22G 的 SQL，而且批量替换啥的，如果不用正则速度还是很快的。

Akkuman

2017-06-02 15:41:15 +08:00 via Android

emediter

Akkuman

2017-06-02 15:41:33 +08:00 via Android

emeditor

nadoo

2017-06-02 16:28:33 +08:00

emeditor 可以

gdsagdada

2017-06-02 18:38:31 +08:00

emeditor，自己写个程序不就搞定了，哪个 SB 导这么大的文件，不知道分表分批次导出吗

mingyun

2017-06-03 00:09:25 +08:00

emeditor 这么屌

20150517

2017-06-03 01:25:17 +08:00 via Android

搞什么要看下肯定用 less less 是一点点加载的，但你如果要查找就麻烦了

rubyvector

2017-06-03 16:26:03 +08:00

之前用过 UltraEdit，也很牛

winglight2016

2017-06-04 09:39:07 +08:00

用 ETL 工具随便想输出什么格式都可以