这是一个创建于 1982 天前的主题，其中的信息可能已经有所发展或是发生改变。
用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
 |
1
1018ji 2020 年 8 月 11 日
1G 多，啥子需求，告辞
|
 |
2
gz911122 2020 年 8 月 11 日  1
不入库啊
为什么这种东西要入库? 存到对象存储不行么? |
 |
3
summerwar 2020 年 8 月 11 日
1G 多的 excel 文件吗
|
 |
4
wakzz 2020 年 8 月 11 日
大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。
|
 |
5
lscexpress 2020 年 8 月 11 日
没看文档吗
mysql 就不适合大文件存储 |
 |
6
killergun 2020 年 8 月 11 日
1G 的 excel 这得有千万行数据了吧
|
 |
7
blackmirror 2020 年 8 月 11 日
这不是伪需求吗
|
 |
8
realpg PRO java 开发商业软件的一贯脑回路清奇
|
 |
9
xuanbg 2020 年 8 月 11 日
文件存 7 牛什么的，url 入库就行了
|
|
10
xuanbg 2020 年 8 月 11 日
或者把数据解析出来批量写入也行，整个文件入库怕是不太行。
|
 |
11
securityCoding 2020 年 8 月 11 日
@xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储
|
 |
14
ccxml OP @lscexpress 这里是把大文件转换成表数据入库
|
|
17
ccxml OP @securityCoding 我搜到 loda data 这个命令可以实现我的需求
|
|
18
summerwar 2020 年 8 月 12 日
@ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了
|
 |
19
robot1 2020 年 8 月 12 日
果然什么样的工程都有 脑回路清奇算是夸人了
|
 |
21
tibazq929 2020 年 8 月 12 日
用 oracle，lob 性能比文件系统还强
|
 |
22
b2byco 2020 年 8 月 21 日
kettle ？
|
Select Language