小型Web数据库的选择

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3992 天前的主题，其中的信息可能已经有所发展或是发生改变。

一直用Python + web.py + SQLite ，主要这个数据库小巧，省资源,有128m就够用。但是SQLite 写的时候有锁，导致并发大大减弱。

我该放弃SQLite ？

我的需求:数据库只做插入和查询，不需要更新数据的。只有2个表，

请大家推荐一款，谢谢啦
想要插入的时候也可以查询呀。毕竟没有更新操作。

sqlite

数据库

插入

42 条回复 • 1970-01-01 08:00:00 +08:00

daiv

2013-12-05 22:43:20 +08:00 via iPhone

我的需求:数据库只做插入和查询操作，不需要更新操作。只有2个表，数据1—100万之间。

ixiaohei

2013-12-05 22:47:02 +08:00

mysql

ipconfiger

2013-12-05 22:51:02 +08:00

@daiv 每一条多大呢？

daiv

2013-12-05 22:54:03 +08:00 via iPhone

@ipconfiger 小于100k

daiv

2013-12-05 22:55:14 +08:00 via iPhone

@ixiaohei mySQL 是不是有一点点大了谢谢

ipconfiger

2013-12-05 22:57:51 +08:00

@daiv 按每条100K计算，100w条大概有10G左右的数据，还是上正儿八经的数据库吧，128M什么的就不要想了。bdb，sqlite，leveldb神码的都存在多进程的问题，且bdb和leveldb都需要内存

daiv

2013-12-05 23:00:23 +08:00 via iPhone

@ipconfiger 最大1-2G，一般都是10条左右了。

只做插入和查询。
推荐一个啦

clino

2013-12-05 23:00:27 +08:00

sqlite 我觉得注意一下是可以提高并发的,减少被锁影响的方法:
-将timeout时间设长一些
-将操作数据库的时间尽量缩短,例如读就一把读出来再处理,写也是把要写的数据全部准备好了一把写入

daiv

2013-12-05 23:02:20 +08:00 via iPhone

@ipconfiger 一般10万条左右，上面写错了

yakczh

2013-12-05 23:10:55 +08:00

memsql

clino

2013-12-05 23:14:14 +08:00

上面减少操作数据库时间的具体做法,我在用uliweb的时候用到过一个就是
for item in model:
这里面对model的遍历会引发对数据库的操作,这样如果for里做得时间比较多,花的时间比较长,那占用的时间就长了
可以改成这样:
for item in list(model):
这样就将操作数据库的时间最小化了

还有我碰到一个情形是,除了web的进程,还有一些daemon进程也会操作数据库,后来就改成调用web api来做,这样把对数据库的操作都集中到web进程里,这样我觉得对避免这个问题也有好处

ipconfiger

2013-12-05 23:17:23 +08:00

@daiv 你就只有128M的VPS啊？

tshwangq

2013-12-05 23:35:27 +08:00

firebird?

moroumo

2013-12-05 23:37:20 +08:00

我用得也是sqlite，也是128M VPS，哈哈。
注重一下业务流程上能不能简化，避免读写冲突

ipconfiger

2013-12-05 23:42:21 +08:00

@daiv 1G，2G的数据可以继续用SQLite，为了避免锁问题，可以用一个独立的进程单线程访问SQLite数据库，然后web用tornado异步请求

tshwangq

2013-12-05 23:44:47 +08:00

Kyoto Cabinet, 似乎也是个不错的选择。

likuku

2013-12-05 23:48:07 +08:00

加一个memcached…读的负载转移到内存去。

tshwangq

2013-12-05 23:50:00 +08:00

http://yserial.sourceforge.net/
这个也很有意思啊，用sqlite构建起来的小型nosql。
非常符合你的写+读的场景

barbery

2013-12-06 00:13:42 +08:00

用mysql的myisam表, 关闭innodb，应该耗不了多少内存吧

loading

2013-12-06 07:15:46 +08:00 via iPhone

数据量不大可以使用sqlite内存方式

loading

2013-12-06 07:18:03 +08:00 via iPhone

分割为多个sqlite文件，查询前先判断在哪个文件（数据库），毕竟你只有128m

daiv

2013-12-06 08:20:24 +08:00

@clino 太感谢你了，我检查一下代码，试试你的方法。谢谢。不过，我的代码中，每次都是取出一条数据的

daiv

2013-12-06 08:20:53 +08:00

@ipconfiger 有 256 512,1G 都有呀，不是单单 128 啦

daiv

2013-12-06 08:31:05 +08:00

@tshwangq 第一次听说，请问这个适合我使用的场景么？读+写，不update

daiv

2013-12-06 08:34:29 +08:00

@tshwangq 嗯，你介绍了好多个，我都没碰过的，这个 y_serial 我尝试一下

daiv

2013-12-06 08:34:59 +08:00

@loading 我已经分割成三个数据库了，每个表一个数据库。。。

loading

2013-12-06 08:40:56 +08:00 via iPhone

把表再拆一次，如名字a-f一个

hjie

2013-12-06 08:51:56 +08:00

sqlite 写入锁多线程下真的很烦啊

tshwangq

2013-12-06 09:18:22 +08:00

@daiv 嘿嘿，我也是看到你这个需求很感兴趣，感觉可能有一款类似sqlite的nosql存在，所以搜索了下，其实没有实战经验。记得updates一下你最终结果哦。

usoluyun

2013-12-06 09:49:49 +08:00

数据库写入都是有锁的吧，否则mysql也不会搞什么读写分离了吧。关键是读的时候要指定 no lock不是么？

HunterPan

2013-12-06 09:51:52 +08:00

@hjie 赞同，

yolio2003

2013-12-06 09:52:06 +08:00

非常喜欢sqlite,留名学习提高并发的方法~

uwh5ed9

2013-12-06 09:53:01 +08:00

mark

takwai

2013-12-06 09:59:48 +08:00

用 15 楼方法，或者设置一下使用 WAL 模式 http://www.sqlite.org/draft/wal.html

ipconfiger

2013-12-06 10:02:46 +08:00

WAL是好办法

ericls

2013-12-06 10:39:13 +08:00

128M还是跑sqlite吧
我之前是因为跑不动mysql才跑的sqlite
放的自己的一个小博客有一段时间了反正没流量所以也就没有进一步的需求

不过楼主这种站子做大了换大一点的服务器也是应该的吧。。。
搞点内存配合memcached redis神码的用

daiv

2013-12-06 10:51:20 +08:00

@ipconfiger wal 模式读写不干涉，挺好的。
@takwai 要尝试一下 wal，读和写之间不会阻塞
@ericls sqlite 还是很省资源的，我还有更大的内存啦，sqlite 128够用，知识有锁。
@hjie 是呀，sqlite 要是没读写的冲突，那就很爽了
@usoluyun 读得时候 sqlite 没有锁吧