1
kaedeair 2022-08-05 09:19:09 +08:00
任务切块扔进程池
|
2
tairan2006 2022-08-05 09:27:03 +08:00 1
你不要一条一条插啊…批量写入
|
3
CaptainD 2022-08-05 09:53:16 +08:00
用 pandas 批量处理 txt ,然后批量构建 obj ,再插入,然后再分块多进程,这个思路是不是好点
|
4
vhysug01 2022-08-05 09:57:15 +08:00
这类型数据我存过,用的是 bcolz 存的,文件形式落盘
|
5
httplife 2022-08-05 10:00:47 +08:00
空白键换成 , 另存为 csv. 然后 import?
|
6
root000 2022-08-05 10:37:48 +08:00
https://www.mongodb.com/docs/database-tools/mongoimport/
可以试试官方的工具 但是需要转下文件格式 目前只支持 JSON, CSV, or TSV 目前在用这个来导 |
7
SenLief 2022-08-05 10:39:04 +08:00
把 txt 先整成 csv ,那就效率高了。
|