这是一个创建于 3944 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有个数据仓库大概10亿数据，数据分析筛选后大概2kw数据，曾经干过100w的sqlite3内存模式查了四个group by用时总共1分钟左右。如果是2kw数据性能如何，请教下。
第 1 条附言 · 2015 年 4 月 10 日
今天进一步做需求，发现最后需要直接把另一张表3kw数据cache到内存加速10亿数据刷选，使用sqllite3作为内存cache，另外输出2kw左右的中间数据用于数据分析，数据量不大，不想上spark。 发现几千万的级别的使用sqlite3做数据分析可行，分析数度也够快，当然费些内存是必要的，也进一步鉴证为毛那个ngxtop用那么多人用。
 |
1
usedname 2015 年 4 月 9 日
zhao si
|
 |
2
Septembers 2015 年 4 月 9 日
建议用PgSQL
|
 |
3
RangerWolf 2015 年 4 月 9 日
no zuo no die ?
|
 |
4
msg7086 2015 年 4 月 9 日
算不算年度最佳笑话？
用一下pg/my又不麻烦…… |
 |
5
clino 2015 年 4 月 9 日
试一下不就知道了,造这么大的数据出来测试一下嘛
其实sqlite性能挺不错的,当然并发高肯定不行 |
|
6
Septembers 2015 年 4 月 9 日
@msg7086 虽然SQLite设计达到了2T(README上是这么说的)但是SQLite的实现远远达不到这种能力
|
 |
7
liuhaotian 2015 年 4 月 9 日
作死
|
 |
8
int64ago 2015 年 4 月 9 日
一个嵌入式用的数据库你确定你要这么做？
|
 |
9
chenjf2k 2015 年 4 月 9 日
我也想知道答案。
我的预想是应该在1kw下应该可以承受。只要合理索引，不要全表扫描。 Sqlite有个好处：不用时不占内存，不像SQL Server或其他库，一装载内存就占用很多。 |
 |
10
em70 2015 年 4 月 9 日 via Android
跑在SSD上应该不至于死
|
 |
11
kslr 2015 年 4 月 9 日 via Android
这点内存换来的可不是一点方便
|
 |
12
lianghui OP  1
|
 |
13
no13bus 2015 年 4 月 9 日
leveldb
|
 |
14
zhujinliang 2015 年 4 月 9 日 via iPhone
simplecd好像用的sqlite，印象中作者写过文章讨论性能
|
 |
15
wolfan 2015 年 4 月 10 日
小身板扛大旗，作！作！
|
 |
16
Earthman 2015 年 4 月 10 日
@zhujinliang 改mongodb了
|
 |
17
NeoAtlantis 2015 年 4 月 10 日
那啥，上次酒店什么的那个数据就是2kw条。
当时好象是在虚拟机里装微软的SQL Server导出的。。。 |
 |
18
xiaogui 2015 年 4 月 10 日
四个group by...
|
 |
19
zspsky 2015 年 4 月 10 日
太大的数据不要用.就把它当作access处理吧。access能处理的sqlite的也可以。
|
|
20
zspsky 2015 年 4 月 10 日
sqlite文件一大。真的是要哭死。
|
 |
21
jamiesun 2015 年 4 月 10 日
绝对没有问题，以空间换时间。
|
 |
22
iam36 2015 年 4 月 10 日
如果在内存里面跑 ，估计比 更大的DBMS要快，再不济不会更慢。
等你测试结果。 |
 |
23
cchange 2015 年 4 月 10 日
simplecd主数据库为sqlite，绝对是第一手应用经验啊
|
 |
24
Actrace 2015 年 4 月 10 日
sqlite的优势在于便携。
不过这并不达标它性能不行。 |
 |
25
northisland 2015 年 4 月 10 日
感觉挺喜感，
有人知道sqlite的查找复杂度大体是多少，其他的呢？ |
|
26
northisland 2015 年 4 月 10 日
|
 |
27
Admstor 2015 年 4 月 10 日
simplecd数据量并没有多少吧
统计信息 全站资源数:464949 全站文件数:10974809 按资源也就50W不到,按文件数才达到千万级别 顺便...已经换MongoDB了 |
 |
28
idblife 2015 年 4 月 10 日
我就想问一句，你为啥用sqlite？
no zuo no die |
 |
29
GuangXiN 2015 年 4 月 10 日 1
不知道楼主是想做工程方案还是想搞学术实验
|
Select Language