这是一个创建于 219 天前的主题，其中的信息可能已经有所发展或是发生改变。
解压文件内容为： 第一行存放是表对应的名称，剩下的每行存放的是对应值。目前每个解压下来的文件有 1w 行数据，第 1 行存放表头，其他存放对应的数据。目前用的 java ，mybatis 做解析入库处理，每个文件要花费 4-5s 才能解析入库到 pg ，最坏的情况大概要 10s 之间
9 条回复 • 2024-04-19 14:16:52 +08:00
 |
1
blacklinux 219 天前
转换成 sql 语句执行
|
 |
2
sagaxu 219 天前
1. 批量插入 + 开启 pgsql 的 reWriteBatchedInserts ，单个文件控制在 1 秒左右
2. 使用多线程，不同的表并发插入 |
 |
3
luozic 219 天前
分成 3 部分：1.解压读取 解析 csv
2.批处理 3.入库 用火焰图和时序看一下是哪部分慢呗。 插入 pg 批处理肯定没这么慢（ pg 的 IO 没那么差的情况下） |
 |
4
lolizeppelin 219 天前
pg 直接 copy csv 啊,为什么转 sql
|
 |
5
xingzi10000 OP ok,谢谢各位，我先试试看
|
 |
6
HOMO114514 219 天前
COPY 语句直接干
|
 |
7
catamaran 219 天前
mysql 可以直接导 csv ，pg 不行？
|
 |
8
yjhatfdu2 218 天前
find . -name '*.csv.gz' | xargs -I {} -P 4 bash -c "gzcat {} | psql -c 'copy test from stdin csv header'"
P 是并发，可以开高点 |
 |
9
cloverzrg2 218 天前
下载了什么社工库吗
|
Select Language