求助， mysql 怎么快速导入 10 个 G Sql 文件，大概有 4kw 数据
piloots · 2019-08-22 21:23:41 +08:00 · 2665 次点击这是一个创建于 1919 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为 sql 的文件带索引，我尝试修改 mysql 的配置，然后用 source 导入速度很不理想，24 小时才导入了 1.8kw ，有大佬指下方向吗?
 |
1
cuixiao603 2019-08-22 21:43:31 +08:00
也是困扰我的一个问题
|
 |
2
piloots OP @cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样，不知道有没有更快的方法，现在 1s 大概 3k （不准确统计）
|
|
3
piloots OP 这样的速度，理想化也需要 3 个小时左右...
|
 |
4
cubecube 2019-08-22 22:10:49 +08:00 via Android
下次别导出 sql 会快点
|
|
6
piloots OP 啥都不如直接复制 sql 的文件快
|
 |
7
chinesestudio 2019-08-22 22:24:13 +08:00 via Android
物理机 ssd 集群 十几分钟就搞定了
|
|
8
piloots OP @chinesestudio 单机，普通硬盘，理想状态下 4 个小时...后悔呀，复制 mysql 文件，不导出 sql 都会比这个效率高，没办法了
|
 |
9
justgodlike1993 2019-08-22 22:31:03 +08:00
SET SQL_LOG_BIN =0 ;试试
|
 |
10
mchl 2019-08-22 22:38:02 +08:00 via iPhone
mysql -u username -p < /path/to/dump.sql
|
 |
11
msg7086 2019-08-23 06:08:42 +08:00 via Android
先问是不是 SSD。
当年很出名的一个事，有个公司没用 SSD，跑 MySQL 升级跑了 9 个月还是多少来着，还没跑完，成为笑柄。 |
 |
12
gam2046 2019-08-23 09:38:03 +08:00
不确定有没有用，考虑一下先不建立索引，关闭事务，全部导入完成以后，再一次性建索引？
|
 |
13
aaronchou0 2019-08-23 10:10:48 +08:00
我每周都要导 30G+ 8kw+行的数据，用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
|
 |
14
sr0miao 2019-08-23 10:18:22 +08:00
不会这样吧，我到处 200 个 G 数据大概 5 个小时啊，企业级的机械硬盘
|
|
15
sr0miao 2019-08-23 10:22:50 +08:00
试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数，可以设大一点，不然就是硬盘的问题了
|
|
16
aaronchou0 2019-08-23 10:28:16 +08:00
@sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
|
|
17
sr0miao 2019-08-23 10:32:18 +08:00
@aaronchou0 说错了，是导入。。
|
|
18
sr0miao 2019-08-23 10:35:10 +08:00
@aaronchou0 这个跟你虚拟机没关系啊，使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度（决定因素）。
|
Select Language