V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
imcj
V2EX  ›  VPS

在考虑利用起闲置VPS的来聊聊

  •  
  •   imcj · 2013-01-23 14:31:31 +08:00 · 3701 次点击
    这是一个创建于 4323 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  2013-01-23 15:31:00 +08:00
    我是觉得闲置的VPS组织起来,VPN、图床、文件什么都挺有意思的。
    第 2 条附言  ·  2013-01-23 17:25:59 +08:00
    初步想法是利用Python编写一个HTTP REST的API用来操作对象存储。
    第 3 条附言  ·  2013-01-24 14:25:25 +08:00
    根据 @liuxurong 的IDEA,作为p2ps非常合适,加速文件下载、文件存储分享。
    83 条回复    1970-01-01 08:00:00 +08:00
    sNullp
        1
    sNullp  
       2013-01-23 14:51:53 +08:00
    http://www.v2ex.com/t/58443
    或者free VPN也行,但是不要公开free。我现在算是有经验了。。
    imcj
        2
    imcj  
    OP
       2013-01-23 15:03:53 +08:00
    @sNullp 可以把大家的都集合起来,一堆闲置的VPS也是不小的资源。
    sNullp
        3
    sNullp  
       2013-01-23 15:05:03 +08:00
    @imcj 是啊,但是怎么做才能让大家信任是另一个问题。
    毕竟互联网上太容易伪装了。
    imcj
        4
    imcj  
    OP
       2013-01-23 15:08:16 +08:00
    @sNullp 信任?你碰到了什么问题?
    sNullp
        5
    sNullp  
       2013-01-23 15:12:08 +08:00
    @imcj 没遇到问题,但是十分担心。
    比如,如果有任何形式的组织大家贡献服务器资源free出去,就会有人怀疑你是不是有什么利益目的。烦。
    所以我最多写写经验帖鼓励大家自己free,但不想组织这样的活动。
    imcj
        6
    imcj  
    OP
       2013-01-23 15:14:58 +08:00
    @sNullp 这个嘛,何必在意别人怎么看。

    我是觉得闲置的VPS组织起来,翻墙、图床、文件什么都挺有意思的。
    sNullp
        7
    sNullp  
       2013-01-23 15:15:57 +08:00
    @imcj 反正我是觉得烦,付出劳动力去管理反而还要遭受怀疑。
    要不你组织组织?我报名跟进~
    imcj
        8
    imcj  
    OP
       2013-01-23 15:25:44 +08:00
    @sNullp 这个有什么好组织的,在来几个人,大家一起玩一下。
    sNullp
        9
    sNullp  
       2013-01-23 15:31:32 +08:00
    @imcj 好啊,只要有plan就好。
    imcj
        10
    imcj  
    OP
       2013-01-23 15:35:06 +08:00
    @sNullp 贡献什么?VPN?图床?
    imcj
        11
    imcj  
    OP
       2013-01-23 15:38:33 +08:00
    @sNullp 兼容S3 API的类似对象存储,每台机器可以贡献这种存储。可以做图床,也可以放文件。利用限制的流量和硬盘。这个IDEA怎么样。
    sNullp
        12
    sNullp  
       2013-01-23 15:43:59 +08:00
    @imcj 好idea!有现有的程序么?我可以提供个日本的机器来做这个事情,起到静态文件加速的作用。
    imcj
        13
    imcj  
    OP
       2013-01-23 15:47:50 +08:00
    @sNullp 没有,不过我有开发的兴趣,要是有人有兴趣可以推动起来。我用的VPN也是基本闲置的,可以贡献出来。
    sNullp
        14
    sNullp  
       2013-01-23 15:48:33 +08:00
    @imcj 邮件聊吧。要不你把你的vpn也作为我的vpn的另一个节点好了。
    sNullp
        15
    sNullp  
       2013-01-23 15:48:48 +08:00
    muxi
        16
    muxi  
       2013-01-23 15:49:22 +08:00
    VPS的配置一般都很低,很难做对象存储
    imcj
        17
    imcj  
    OP
       2013-01-23 15:51:32 +08:00
    @muxi 作为分流的话呢?一个上传的对象,被3个以上的限制VPS节点拷贝,并提供分流。
    imcj
        18
    imcj  
    OP
       2013-01-23 15:51:45 +08:00
    @sNullp 可以啊,要怎么做?
    muxi
        19
    muxi  
       2013-01-23 15:55:37 +08:00
    静态文件访问比较耗io,一般来说虚拟磁盘io都不咋的,而VPS本身的内存又太小,不足以做缓存应用,在小流量的时候可以试试,流量大了或许你得找成百上千个VPS才行,这个时候维护成本非常的高,由于VPS比实体机更容易出问题,这么多节点,维护成本会有几何级上升,在这个之上还得有自动运维系统支撑,故障自动转移,故障报告给VPS所有者修理之类的,太多了成本了
    muxi
        20
    muxi  
       2013-01-23 15:58:37 +08:00
    BTW:即使在一家公司,所有的机器系统都一样,环境都一样,500台以上的节点,跨数据中心维护都是非常头痛的问题,面对这么多异构的机器,而且还没有对应的操作权限,我觉得还是比较复杂
    imcj
        21
    imcj  
    OP
       2013-01-23 15:59:52 +08:00
    @muxi 你说到的这个场景确实这些VPS承受不来,多少请求量能达到多少IO,这个你有经验吗?
    for4
        22
    for4  
       2013-01-23 16:01:46 +08:00
    @sNullp
    @muxi
    @imcj

    这样利用怎么样?

    用Celery架个集群, 免费执行有需要的人上传的task.
    为了各个节点(vps)的安全和防止被滥用 需要一个sandbox, 当然前期可以人工对task的内容进行审核.
    imcj
        23
    imcj  
    OP
       2013-01-23 16:02:24 +08:00
    @muxi 不过我构想的是提供互助免费的对象存储服务,和你谈到的场景应用相去还甚远。
    for4
        24
    for4  
       2013-01-23 16:03:23 +08:00
    还可以共享发布自己的task.

    感觉有点像geek们的ifttt了
    imcj
        25
    imcj  
    OP
       2013-01-23 16:08:34 +08:00
    @for4 用linux的普通用户权限设置即可,在不对VPS造成破坏的情况下提供可能好用的环境。
    imcj
        26
    imcj  
    OP
       2013-01-23 16:09:39 +08:00
    @for4 这个IDEA相当不错
    sNullp
        27
    sNullp  
       2013-01-23 16:17:00 +08:00
    @for4 我觉得这个太geek了。或者说,能适应这样使用的人,往往又觉得这种别人搭的免费服务靠不住了。
    sNullp
        28
    sNullp  
       2013-01-23 16:17:44 +08:00
    @muxi 嗯,有道理。1G内存一下的VPS做io服务器肯定靠不住。
    imcj
        29
    imcj  
    OP
       2013-01-23 16:22:16 +08:00
    @sNullp @for4这个主意用来放蜘蛛不错。
    sNullp
        30
    sNullp  
       2013-01-23 16:36:09 +08:00
    @imcj 这个我觉得有点偏离我的初衷了。放蜘蛛的人不缺这点钱吧。。
    我主要想帮助一些 user 级的人更方便地上网/写博客之类的。
    imcj
        31
    imcj  
    OP
       2013-01-23 16:38:55 +08:00
    @sNullp 只是聊聊他这个IDEA。我到是对对象存储很有兴趣。
    gracece
        32
    gracece  
       2013-01-23 16:55:03 +08:00
    学生党有需要!能跑python的虚拟主机很难找又很贵。
    chemhack
        33
    chemhack  
       2013-01-23 16:56:14 +08:00
    @imcj 这种东西基本上违反了大多数廉价VPS供应商的TOS。。。。
    imcj
        34
    imcj  
    OP
       2013-01-23 17:02:53 +08:00
    @gracece appfog不是很好用?
    imcj
        35
    imcj  
    OP
       2013-01-23 17:03:34 +08:00
    @chemhack 控制在一定量没有问题的。
    feiandxs
        36
    feiandxs  
       2013-01-23 17:04:39 +08:00
    无论是做存储,还是计算节点,哪怕仅仅是更简单的流量分配和cache,小规模则无价值,但假如部署起一个大规模的分布式网络后,其中所涉及到的资源调配,计算密度,流量分布,简单说就是楼上 @muxi所讲的那些,对了,还有不同的OS,不同的硬件架构,这些东西处理起来需要的东西难度之大,远非简单的人力可及,以及,这都不仅仅只是技术和人力的问题了。 何况你们还提到在VPS上的利用,假设一套这样可靠的系统起来了,如果是P2P的,现在的主流VPS能不能有足够的资源运行这套系统都是问题,何谈贡献资源。
    imcj
        37
    imcj  
    OP
       2013-01-23 17:11:28 +08:00
    @feiandxs 为什么一定要大,一定要广。我考虑的仅仅是利用。所以,大和广的问题,我没有考虑过,也没有这方面的经验和技能去考虑。
    imcj
        38
    imcj  
    OP
       2013-01-23 17:25:17 +08:00
    @feiandxs @muxi 我的初步想法是利用Python编写一个HTTP REST的API用来操作对象。至于流量什么的,设定配额吧。
    tarsier
        39
    tarsier  
       2013-01-23 17:30:22 +08:00 via Android
    感兴趣,可以贡献vps
    imcj
        40
    imcj  
    OP
       2013-01-23 17:30:59 +08:00
    @tarsier 你对哪块感兴趣?对象存储还是VPN?
    tarsier
        41
    tarsier  
       2013-01-23 17:32:27 +08:00 via Android
    @imcj vpn吧,存储的难度有点大。vpn有点像t!o!r
    imcj
        42
    imcj  
    OP
       2013-01-23 17:39:13 +08:00
    @tarsier 可以邮件给 @sNullp
    sNullp
        43
    sNullp  
       2013-01-23 17:43:14 +08:00
    @imcj @tarsier 我一开始做free vpn的时候从没想到会有人向我free服务器。太感动了。
    嗯,邮件联系吧,[email protected]
    tarsier
        44
    tarsier  
       2013-01-23 18:08:44 +08:00 via Android
    @sNullp 我也受过v2ex上某坛友的恩惠,抱歉他的id我记不得了估计得找找邮件记录,他的原话是,积善人家,必有余庆,很受用
    slgray
        45
    slgray  
       2013-01-23 18:27:25 +08:00
    @gracece 你可以试试heroku。
    muxi
        46
    muxi  
       2013-01-23 19:47:06 +08:00   ❤️ 1
    @imcj 多少请求量能是io瓶颈这个不太好说,主要看各个VPS服务商的硬件质量,以及高峰期的资源调度、超卖程度等等,不能一概而论,以linode和yardvps为例,linode我自己的网站中静态资源(主要是图片,50~200K不等)请求大概能到220qps就会收到Linode公司要求优化的邮件,yard高峰期基本上在100QPS就瘫痪了(慢得无法接受,io wait 会好几百)

    所以用VPS搭建这种服务真的挺难,不过还是能做不少的事情,比如分布式ping检测 分布式dns生效检查,临时流量调度、临时故障迁移(不过这个貌似得IP漂移或者智能DNS解析了) 等等


    tor这种服务我记得理论上已经被破解了,最新的论文实际上显示,VPN SSH 80端口代理的TCP包特征分析等等已经比较成熟,这个网络搞大了估计还是要被封掉
    imcj
        47
    imcj  
    OP
       2013-01-23 20:09:48 +08:00
    @muxi 我没想过要有多大,大到vps厂商无法接受。我考虑的主要还是,闲置的资源可利用起来。
    muxi
        48
    muxi  
       2013-01-23 23:03:01 +08:00
    @imcj 如果搞不大就没有意义,一个几千PV的动态站点,一个VPS就能够满足,何必要搞那么复杂的技术呢,集群从理论上来说遇到的问题比单个VPS更多,而且因为免费,还没有质量保证,真出错了,也只能自己认了
    muxi
        49
    muxi  
       2013-01-23 23:05:25 +08:00
    从玩和提升技术角度来说,我个人支持做这样的事情,从商业价值和产品角度来考虑,或许投入产出比不高
    aec4d
        50
    aec4d  
       2013-01-24 00:56:09 +08:00
    ...我对VPN感兴趣.有2台闲置的
    imcj
        51
    imcj  
    OP
       2013-01-24 09:06:23 +08:00 via Android
    @aec2d 联系@sNullp :D
    carbon
        52
    carbon  
       2013-01-24 10:48:04 +08:00
    借此热帖,请教各位,怎么才能发新主题啊呀?我怎么都没找到哪里可以发新帖子/主题的链接啊?是不是要达到什么标准才可以发新的呀?还请各位指教!谢谢!@livid 。
    hector
        53
    hector  
       2013-01-24 11:01:09 +08:00   ❤️ 1
    @carbon 每一个节点下面有~
    jackyz
        54
    jackyz  
       2013-01-24 11:52:51 +08:00
    vps 的存储空间太小,存不了多少东西,图床什么的还要考虑存储的可靠性,存到某个节点,他不续费了怎么办。

    比如,我的 vps 只有 20g 磁盘,但流量每月有 200G 。感觉还是用来“提高翻墙可靠性”比较靠谱,之前在别的帖子里也提过:

    1,以交换安全链接的方式实现小范围的相互信任,就算墙来钓鱼一次也只能钓个一两条,他不容易一锅端
    2,以动态轮换安全链接的方式实现低特征翻墙,打一枪换一个地方,行为特征就降低了,不容易被墙锁定

    我的 pobi 项目有这个远期目标,可以提供动态轮换安全链接的功能,但要实现 whole picture,需要做的工作还有很多。哪位同学有时间,做一个交换安全链接的服务吧。
    sNullp
        55
    sNullp  
       2013-01-24 11:58:53 +08:00
    @jackyz 我的VPN马上要成云VPN了,一个节点挂了还有别的节点可以用,登陆账号和后台数据无缝迁移。哈哈
    jackyz
        56
    jackyz  
       2013-01-24 12:50:21 +08:00
    @sNullp 不错 pobi 也正在准备支持 vpn 的安全链路。
    imcj
        57
    imcj  
    OP
       2013-01-24 13:06:28 +08:00
    @jackyz 多节点的,每个节点都保存冗余,起到备份和分流的作用。
    imcj
        58
    imcj  
    OP
       2013-01-24 13:07:43 +08:00
    @sNullp https://gist.github.com/4499611 我这个思路用来本地自发现被墙的域名,在VPN的基础上可以自己路由下,避免浪费VPN流量。
    imcj
        59
    imcj  
    OP
       2013-01-24 13:09:12 +08:00
    @jackyz 我想做个试验看能不能有效利用起来,我正在写这个东西的脚本。

    相比@sNullp 的VPN,对象存储这个想法的脚本是纯Python的,没有c或者其他库的依赖,部署极其容易。
    sNullp
        60
    sNullp  
       2013-01-24 13:10:09 +08:00
    @imcj 这个部署是在客户端上的,只能靠建议大家使用了。
    imcj
        61
    imcj  
    OP
       2013-01-24 13:13:05 +08:00
    @sNullp 客户端?
    jackyz
        62
    jackyz  
       2013-01-24 13:14:28 +08:00
    @imcj check this out: http://docs.basho.com/riak/latest/tutorials/fast-track/What-is-Riak/
    尽力使用已有的轮子,避免重新发明轮子
    imcj
        63
    imcj  
    OP
       2013-01-24 13:19:37 +08:00
    @jackyz 嗯,看到了,我去看看。
    sNullp
        64
    sNullp  
       2013-01-24 13:22:14 +08:00
    @imcj 就是连接vpn的客户使用你这个办法。在服务器端是做不了什么的。
    imcj
        65
    imcj  
    OP
       2013-01-24 13:24:30 +08:00
    @jackyz 看到erlang我就绝望了。

    @sNullp 搞岔了,我知道,我的意思是提供一些脚本,有个叫云梯的卖VPN的提供了一个chnroutes的GUI。
    sNullp
        66
    sNullp  
       2013-01-24 13:27:37 +08:00
    @imcj 嗯。其实有GUI就能做很多有创意的事了,比如更高安全的vpn链接协商、shadowsocks等等。
    但是考虑到移动终端的兼容性我还是不打算做,没这工夫。
    imcj
        67
    imcj  
    OP
       2013-01-24 13:57:41 +08:00
    @sNullp 也是,手机就麻烦了。
    liuxurong
        68
    liuxurong  
       2013-01-24 14:08:36 +08:00
    能否贡献出来搞个云离线下载?楼主想想办法。
    imcj
        69
    imcj  
    OP
       2013-01-24 14:13:07 +08:00
    @liuxurong 你的IDEA用到这个场景相当合适。
    liuxurong
        70
    liuxurong  
       2013-01-24 15:48:20 +08:00
    支持BT,P2P,emule就好了,众包的方式打破迅雷垄断
    liuxurong
        71
    liuxurong  
       2013-01-24 15:49:20 +08:00
    我自己有2个闲余VPS,把楼主关注下先
    imcj
        72
    imcj  
    OP
       2013-01-24 17:34:28 +08:00
    @liuxurong 我对BT不熟,如果只是通过BT下载文件,然后传到这个网络里复杂度应该不会太高。
    imcj
        73
    imcj  
    OP
       2013-01-24 17:34:49 +08:00
    @liuxurong 要是你能贡献些Python代码更好。
    imcj
        74
    imcj  
    OP
       2013-01-24 17:37:22 +08:00
    @Livid 附加内容有时间限制的?
    sNullp
        75
    sNullp  
       2013-01-27 11:23:50 +08:00
    @imcj 最多只能附加3次
    loveminds
        76
    loveminds  
       2013-02-19 02:00:26 +08:00 via iPhone
    @sNullp 可能以后我们会做~CDN互助
    wywh
        77
    wywh  
       2013-02-19 10:52:20 +08:00 via iPad
    @liuxurong bt之类肯定不行,太容易被封。
    loveminds
        78
    loveminds  
       2013-02-19 14:30:06 +08:00 via iPhone
    @loveminds 项目最低要求VPS内存512
    imcj
        79
    imcj  
    OP
       2013-02-19 17:56:27 +08:00
    @loveminds 你自己at自己为那般?求上下文。
    Hyperion
        80
    Hyperion  
       2013-02-19 18:36:13 +08:00
    @imcj 自补充(#74), 应该是这样.
    tedeyang
        81
    tedeyang  
       2013-02-19 18:53:30 +08:00
    云VPN是个好注意
    loveminds
        82
    loveminds  
       2013-02-19 20:07:57 +08:00 via Android
    @imcj 往上看,中间间隔了一个
    bailywen
        83
    bailywen  
       2013-03-06 09:00:21 +08:00 via Android
    我有两台一台HK.一台北京电信通可以贡献。

    另代理北京电信通五线BGP的云主机。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   914 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 20:16 · PVG 04:16 · LAX 12:16 · JFK 15:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.