V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
piloots
V2EX  ›  问与答

求助, mysql 怎么快速导入 10 个 G Sql 文件,大概有 4kw 数据

  •  
  •   piloots · 2019 年 8 月 22 日 · 2995 次点击
    这是一个创建于 2354 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?

    18 条回复    2019-08-23 10:35:10 +08:00
    JaminT
        1
    JaminT  
       2019 年 8 月 22 日
    也是困扰我的一个问题
    piloots
        2
    piloots  
    OP
       2019 年 8 月 22 日
    @cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样,不知道有没有更快的方法,现在 1s 大概 3k (不准确统计)
    piloots
        3
    piloots  
    OP
       2019 年 8 月 22 日
    这样的速度,理想化也需要 3 个小时左右...
    cubecube
        4
    cubecube  
       2019 年 8 月 22 日 via Android
    下次别导出 sql 会快点
    piloots
        5
    piloots  
    OP
       2019 年 8 月 22 日
    @cubecube 嗯,确实是这样
    piloots
        6
    piloots  
    OP
       2019 年 8 月 22 日
    啥都不如直接复制 sql 的文件快
    chinesestudio
        7
    chinesestudio  
       2019 年 8 月 22 日 via Android
    物理机 ssd 集群 十几分钟就搞定了
    piloots
        8
    piloots  
    OP
       2019 年 8 月 22 日
    @chinesestudio 单机,普通硬盘,理想状态下 4 个小时...后悔呀,复制 mysql 文件,不导出 sql 都会比这个效率高,没办法了
    justgodlike1993
        9
    justgodlike1993  
       2019 年 8 月 22 日
    SET SQL_LOG_BIN =0 ;试试
    mchl
        10
    mchl  
       2019 年 8 月 22 日 via iPhone
    mysql -u username -p < /path/to/dump.sql
    msg7086
        11
    msg7086  
       2019 年 8 月 23 日 via Android
    先问是不是 SSD。
    当年很出名的一个事,有个公司没用 SSD,跑 MySQL 升级跑了 9 个月还是多少来着,还没跑完,成为笑柄。
    gam2046
        12
    gam2046  
       2019 年 8 月 23 日
    不确定有没有用,考虑一下先不建立索引,关闭事务,全部导入完成以后,再一次性建索引?
    aaronchou0
        13
    aaronchou0  
       2019 年 8 月 23 日
    我每周都要导 30G+ 8kw+行的数据,用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
    sr0miao
        14
    sr0miao  
       2019 年 8 月 23 日
    不会这样吧,我到处 200 个 G 数据大概 5 个小时啊,企业级的机械硬盘
    sr0miao
        15
    sr0miao  
       2019 年 8 月 23 日
    试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数,可以设大一点,不然就是硬盘的问题了
    aaronchou0
        16
    aaronchou0  
       2019 年 8 月 23 日
    @sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
    sr0miao
        17
    sr0miao  
       2019 年 8 月 23 日
    @aaronchou0 说错了,是导入。。
    sr0miao
        18
    sr0miao  
       2019 年 8 月 23 日
    @aaronchou0 这个跟你虚拟机没关系啊,使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度(决定因素)。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2129 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 12:14 · PVG 20:14 · LAX 04:14 · JFK 07:14
    ♥ Do have faith in what you're doing.