V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tianxiacangshen
V2EX  ›  PHP

2G 甚至 5G 10G 的 sql 文件怎么消化?

  •  
  •   tianxiacangshen · 2017 年 6 月 2 日 · 5960 次点击
    这是一个创建于 3165 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不一定是传到数据库,而是能打开,能分割也行( SQLDumpSplitter 无效),这么大个文件,用什么打开编辑都是卡死,只能用大文件查看器查看一下,也不能编辑,请问有什么办法编辑比如剪切里面的内容?
    32 条回复    2017-06-04 09:39:07 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       2017 年 6 月 2 日 via iPhone
    倒进数据库看....
    Fishdrowned
        2
    Fishdrowned  
       2017 年 6 月 2 日 via Android
    有个笨办法,先导入,再编辑,再导出
    operafans
        3
    operafans  
       2017 年 6 月 2 日
    Toad
    harker
        4
    harker  
       2017 年 6 月 2 日
    找个好点的配置的主机,导入到数据库,编辑完在导出,简单有效,主要是方便编辑
    baoguok
        5
    baoguok  
       2017 年 6 月 2 日
    导入再分批次导出嘛

    玩儿技术的,这都不是事儿
    buir
        6
    buir  
       2017 年 6 月 2 日
    卡死是你没 [耐心] 或者内存太小导致的。
    wudanyang
        7
    wudanyang  
       2017 年 6 月 2 日
    先分割呗, 用 `split` 命令
    ```
    split -b 256M file_name -d -a 4 file_prefix
    ```
    jianghu52
        8
    jianghu52  
       2017 年 6 月 2 日   ❤️ 1
    我最大打开过 6.8G 的 sql 文件。用的 emeditor。慢是慢了一点。但是没有死。10g 的是没试验过。
    gouchaoer
        9
    gouchaoer  
       2017 年 6 月 2 日
    手写一行一行的读
    or 用 vim 啥的
    tianxiacangshen
        10
    tianxiacangshen  
    OP
       2017 年 6 月 2 日
    @baoguok 这么大没办法导入啊
    baoguok
        11
    baoguok  
       2017 年 6 月 2 日
    @tianxiacangshen mysql cli 中,试试 source load xx.sql
    bookit
        12
    bookit  
       2017 年 6 月 2 日
    UltraEdit

    禁止临时文件
    禁止显示行号
    禁止文件(回车 & 换行符)转换
    禁止代码折叠
    禁止显示函数列表
    设置打开 XML 大文件阈值
    禁止语法高亮
    禁止列表变更指标( LCI )
    2ME
        13
    2ME  
       2017 年 6 月 2 日 via Android
    @tianxiacangshen
    为什么没办法导入 命令行设置编码 source 导入很快 上午刚导入一个 4g 不到的 sql 文件
    mahone3297
        14
    mahone3297  
       2017 年 6 月 2 日
    @2ME 4g 导入,差不多要多久?
    congeec
        15
    congeec  
       2017 年 6 月 2 日
    ...............
    楼主你听说过 vim 么?
    blankme
        16
    blankme  
       2017 年 6 月 2 日 via Android
    你能导出还不能导入么...
    而且只要内存够,vim 随便看随便编辑
    2ME
        17
    2ME  
       2017 年 6 月 2 日
    @mahone3297 没注意 很快 几分钟都不到
    tianxiacangshen
        18
    tianxiacangshen  
    OP
       2017 年 6 月 2 日
    @jianghu52 这是个神器啊,13G 打开毫无压力,还能“增删改查”
    likuku
        19
    likuku  
       2017 年 6 月 2 日
    转 csv,split 指令直接按行切分成多文件。

    grep,sort,awk, 配合起来用,筛出数据都可以。

    内存够大(超过文件体积),那么 vim 吧,快速定位行,复制黏贴,都可以。
    XiaoFaye
        20
    XiaoFaye  
       2017 年 6 月 2 日
    你是没用过 UltraEdit 这个神器吧?
    reus
        21
    reus  
       2017 年 6 月 2 日
    ed 啊
    artandlol
        22
    artandlol  
       2017 年 6 月 2 日 via Android
    使用 mysqldump -tab 导出每想单独的表
    估计是你本身的原因 我打开 11G 的文件嗯正常
    msg7086
        23
    msg7086  
       2017 年 6 月 2 日
    没记错的话 EmEditor 有专门用来处理大文件的功能,直接选定某个局部区域打开就行了。
    jhdxr
        24
    jhdxr  
       2017 年 6 月 2 日   ❤️ 1
    emeditor 我最高处理过一个单个 22G 的 SQL,而且批量替换啥的,如果不用正则速度还是很快的。
    Akkuman
        25
    Akkuman  
       2017 年 6 月 2 日 via Android
    emediter
    Akkuman
        26
    Akkuman  
       2017 年 6 月 2 日 via Android
    emeditor
    nadoo
        27
    nadoo  
       2017 年 6 月 2 日
    emeditor 可以
    gdsagdada
        28
    gdsagdada  
       2017 年 6 月 2 日
    emeditor,自己写个程序不就搞定了,哪个 SB 导这么大的文件,不知道分表分批次导出吗
    mingyun
        29
    mingyun  
       2017 年 6 月 3 日
    emeditor 这么屌
    20150517
        30
    20150517  
       2017 年 6 月 3 日 via Android
    搞什么 要看下肯定用 less less 是一点点加载的,但你如果要查找就麻烦了
    rubyvector
        31
    rubyvector  
       2017 年 6 月 3 日
    之前用过 UltraEdit,也很牛
    winglight2016
        32
    winglight2016  
       2017 年 6 月 4 日
    用 ETL 工具随便想输出什么格式都可以
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1891 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 16:06 · PVG 00:06 · LAX 08:06 · JFK 11:06
    ♥ Do have faith in what you're doing.