通过以下 Referral 链接购买 DigitalOcean 主机，你将可以帮助 V2EX 持续发展
› DigitalOcean - SSD Cloud Servers
这是一个创建于 3564 天前的主题，其中的信息可能已经有所发展或是发生改变。
有4个vps 做数据计算节点，在做计算的时候依赖数据盘里的部分数据（都是文本格式）
（数据盘约20gb，一次计算调用10-20个文本文件，每个10kb-10mb不等）
因为 数据计算 偏及时性，一次数据计算在0.1-15秒内完成，不希望数据传输成为瓶颈
现在的办法是存在nosql，非常依赖内网速度。
大牛们有没有什么好的建议，有没有一块数据盘 映射到多台vps上的办法。
ps。没有壕到每个vps都配个数据盘。
第 1 条附言 · 2015-02-23 20:10:04 +08:00
怪我没表达好意思。
我的意思是 现在是用nosql来管理文件，发现没这个必要。想求个精简的高效的方法。
如
数据主机 /home/date/1.txt
|
|
把数据移过来（like scp) //想问问除了scp，有没有更高效。稳定的办法
|
|
V
数据处理主机 python analzy.py < 1.txt
感觉每台主机都扩充硬盘，太浪费了，所以想了个一个数据主机带n个数据处理主机
我的意思是 现在是用nosql来管理文件，发现没这个必要。想求个精简的高效的方法。
如
数据主机 /home/date/1.txt
|
|
把数据移过来（like scp) //想问问除了scp，有没有更高效。稳定的办法
|
|
V
数据处理主机 python analzy.py < 1.txt
感觉每台主机都扩充硬盘，太浪费了，所以想了个一个数据主机带n个数据处理主机
 |
1
9hills 2015-02-23 17:10:33 +08:00  1
如果你计算节点没有本地存储，那么不管你用什么，都要通过网络，都非常依赖内网速度。
如果你计算节点有本地存储，如果数据不经常变动就rsync，经常变动就分布式文件系统，比如MFS之类 |
 |
3
tonyluj 2015-02-23 17:58:06 +08:00 1
分布式计算的不足，量不大的计算，时间都耗费在 IO 上了。
|
 |
4
msg7086 2015-02-23 19:27:22 +08:00 1
一块「盘」映射到多台VPS是不可能的。
一个目录映射过去是有可能的。 但是我不明白你说的映射与内网速度有什么关系。 如果本来就是单台服务器上跑的话，哪来的内网。 如果本来就是跨物理服务器的话，不管怎么映射都逃不掉内网速度。 |
 |
5
wph95 OP @msg7086 sorry 怪我表达不好，v2ex发了贴没法修改
我的意思是现在用nosql，有时候会出现传输不稳定，用nosql可能比较浪费时间（除了必要的传输）（从nosql中拿出数据也需要耗时）。 想问问大牛们 ， 有没有更优的办法。 |
Select Language