在考虑利用起闲置VPS的来聊聊 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
imcj
V2EX    VPS

在考虑利用起闲置VPS的来聊聊

  •  
  •   imcj 2013-01-23 14:31:31 +08:00 4149 次点击
    这是一个创建于 4646 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言    2013-01-23 15:31:00 +08:00
    我是觉得闲置的VPS组织起来,VPN、图床、文件什么都挺有意思的。
    第 2 条附言    2013-01-23 17:25:59 +08:00
    初步想法是利用Python编写一个HTTP REST的API用来操作对象存储。
    第 3 条附言    2013-01-24 14:25:25 +08:00
    根据 @liuxurong 的IDEA,作为p2ps非常合适,加速文件下载、文件存储分享。
    83 条回复    1970-01-01 08:00:00 +08:00
    sNullp
        1
    sNullp  
       2013-01-23 14:51:53 +08:00
    http://www.v2ex.com/t/58443
    或者free VPN也行,但是不要公开free。我现在算是有经验了。。
    imcj
        2
    imcj  
    OP
       2013-01-23 15:03:53 +08:00
    @sNullp 可以把大家的都集合起来,一堆闲置的VPS也是不小的资源。
    sNullp
        3
    sNullp  
       2013-01-23 15:05:03 +08:00
    @imcj 是啊,但是怎么做才能让大家信任是另一个问题。
    毕竟互联网上太容易伪装了。
    imcj
        4
    imcj  
    OP
       2013-01-23 15:08:16 +08:00
    @sNullp 信任?你碰到了什么问题?
    sNullp
        5
    sNullp  
       2013-01-23 15:12:08 +08:00
    @imcj 没遇到问题,但是十分担心。
    比如,如果有任何形式的组织大家贡献服务器资源free出去,就会有人怀疑你是不是有什么利益目的。烦。
    所以我最多写写经验帖鼓励大家自己free,但不想组织这样的活动。
    imcj
        6
    imcj  
    OP
       2013-01-23 15:14:58 +08:00
    @sNullp 这个嘛,何必在意别人怎么看。

    我是觉得闲置的VPS组织起来,翻墙、图床、文件什么都挺有意思的。
    sNullp
        7
    sNullp  
       2013-01-23 15:15:57 +08:00
    @imcj 反正我是觉得烦,付出劳动力去管理反而还要遭受怀疑。
    要不你组织组织?我报名跟进~
    imcj
        8
    imcj  
    OP
       2013-01-23 15:25:44 +08:00
    @sNullp 这个有什么好组织的,在来几个人,大家一起玩一下。
    sNullp
        9
    sNullp  
       2013-01-23 15:31:32 +08:00
    @imcj 好啊,只要有plan就好。
    imcj
        10
    imcj  
    OP
       2013-01-23 15:35:06 +08:00
    @sNullp 贡献什么?VPN?图床?
    imcj
        11
    imcj  
    OP
       2013-01-23 15:38:33 +08:00
    @sNullp 兼容S3 API的类似对象存储,每台机器可以贡献这种存储。可以做图床,也可以放文件。利用限制的流量和硬盘。这个IDEA怎么样。
    sNullp
        12
    sNullp  
       2013-01-23 15:43:59 +08:00
    @imcj 好idea!有现有的程序么?我可以提供个日本的机器来做这个事情,起到静态文件加速的作用。
    imcj
        13
    imcj  
    OP
       2013-01-23 15:47:50 +08:00
    @sNullp 没有,不过我有开发的兴趣,要是有人有兴趣可以推动起来。我用的VPN也是基本闲置的,可以贡献出来。
    sNullp
        14
    sNullp  
       2013-01-23 15:48:33 +08:00
    @imcj 邮件聊吧。要不你把你的vpn也作为我的vpn的另一个节点好了。
    sNullp
        15
    sNullp  
       2013-01-23 15:48:48 +08:00
    muxi
        16
    muxi  
       2013-01-23 15:49:22 +08:00
    VPS的配置一般都很低,很难做对象存储
    imcj
        17
    imcj  
    OP
       2013-01-23 15:51:32 +08:00
    @muxi 作为分流的话呢?一个上传的对象,被3个以上的限制VPS节点拷贝,并提供分流。
    imcj
        18
    imcj  
    OP
       2013-01-23 15:51:45 +08:00
    @sNullp 可以啊,要怎么做?
    muxi
        19
    muxi  
       2013-01-23 15:55:37 +08:00
    静态文件访问比较耗io,一般来说虚拟磁盘io都不咋的,而VPS本身的内存又太小,不足以做缓存应用,在小流量的时候可以试试,流量大了或许你得找成百上千个VPS才行,这个时候维护成本非常的高,由于VPS比实体机更容易出问题,这么多节点,维护成本会有几何级上升,在这个之上还得有自动运维系统支撑,故障自动转移,故障报告给VPS所有者修理之类的,太多了成本了
    muxi
        20
    muxi  
       2013-01-23 15:58:37 +08:00
    BTW:即使在一家公司,所有的机器系统都一样,环境都一样,500台以上的节点,跨数据中心维护都是非常头痛的问题,面对这么多异构的机器,而且还没有对应的操作权限,我觉得还是比较复杂
    imcj
        21
    imcj  
    OP
       2013-01-23 15:59:52 +08:00
    @muxi 你说到的这个场景确实这些VPS承受不来,多少请求量能达到多少IO,这个你有经验吗?
    for4
        22
    for4  
       2013-01-23 16:01:46 +08:00
    @sNullp
    @muxi
    @imcj

    这样利用怎么样?

    用Celery架个集群, 免费执行有需要的人上传的task.
    为了各个节点(vps)的安全和防止被滥用 需要一个sandbox, 当然前期可以人工对task的内容进行审核.
    imcj
        23
    imcj  
    OP
       2013-01-23 16:02:24 +08:00
    @muxi 不过我构想的是提供互助免费的对象存储服务,和你谈到的场景应用相去还甚远。
    for4
        24
    for4  
       2013-01-23 16:03:23 +08:00
    还可以共享发布自己的task.

    感觉有点像geek们的ifttt了
    imcj
        25
    imcj  
    OP
       2013-01-23 16:08:34 +08:00
    @for4 用linux的普通用户权限设置即可,在不对VPS造成破坏的情况下提供可能好用的环境。
    imcj
        26
    imcj  
    OP
       2013-01-23 16:09:39 +08:00
    @for4 这个IDEA相当不错
    sNullp
        27
    sNullp  
       2013-01-23 16:17:00 +08:00
    @for4 我觉得这个太geek了。或者说,能适应这样使用的人,往往又觉得这种别人搭的免费服务靠不住了。
    sNullp
        28
    sNullp  
       2013-01-23 16:17:44 +08:00
    @muxi 嗯,有道理。1G内存一下的VPS做io服务器肯定靠不住。
    imcj
        29
    imcj  
    OP
       2013-01-23 16:22:16 +08:00
    @sNullp @for4这个主意用来放蜘蛛不错。
    sNullp
        30
    sNullp  
       2013-01-23 16:36:09 +08:00
    @imcj 这个我觉得有点偏离我的初衷了。放蜘蛛的人不缺这点钱吧。。
    我主要想帮助一些 user 级的人更方便地上网/写博客之类的。
    imcj
        31
    imcj  
    OP
       2013-01-23 16:38:55 +08:00
    @sNullp 只是聊聊他这个IDEA。我到是对对象存储很有兴趣。
    gracece
        32
    gracece  
       2013-01-23 16:55:03 +08:00
    学生党有需要!能跑python的虚拟主机很难找又很贵。
    chemhack
        33
    chemhack  
       2013-01-23 16:56:14 +08:00
    @imcj 这种东西基本上违反了大多数廉价VPS供应商的TOS。。。。
    imcj
        34
    imcj  
    OP
       2013-01-23 17:02:53 +08:00
    @gracece appfog不是很好用?
    imcj
        35
    imcj  
    OP
       2013-01-23 17:03:34 +08:00
    @chemhack 控制在一定量没有问题的。
    feiandxs
        36
    feiandxs  
       2013-01-23 17:04:39 +08:00
    无论是做存储,还是计算节点,哪怕仅仅是更简单的流量分配和cache,小规模则无价值,但假如部署起一个大规模的分布式网络后,其中所涉及到的资源调配,计算密度,流量分布,简单说就是楼上 @muxi所讲的那些,对了,还有不同的OS,不同的硬件架构,这些东西处理起来需要的东西难度之大,远非简单的人力可及,以及,这都不仅仅只是技术和人力的问题了。 何况你们还提到在VPS上的利用,假设一套这样可靠的系统起来了,如果是P2P的,现在的主流VPS能不能有足够的资源运行这套系统都是问题,何谈贡献资源。
    imcj
        37
    imcj  
    OP
       2013-01-23 17:11:28 +08:00
    @feiandxs 为什么一定要大,一定要广。我考虑的仅仅是利用。所以,大和广的问题,我没有考虑过,也没有这方面的经验和技能去考虑。
    imcj
        38
    imcj  
    OP
       2013-01-23 17:25:17 +08:00
    @feiandxs @muxi 我的初步想法是利用Python编写一个HTTP REST的API用来操作对象。至于流量什么的,设定配额吧。
    tarsier
        39
    tarsier  
       2013-01-23 17:30:22 +08:00 via Android
    感兴趣,可以贡献vps
    imcj
        40
    imcj  
    OP
       2013-01-23 17:30:59 +08:00
    @tarsier 你对哪块感兴趣?对象存储还是VPN?
    tarsier
        41
    tarsier  
       2013-01-23 17:32:27 +08:00 via Android
    @imcj vpn吧,存储的难度有点大。vpn有点像t!o!r
    imcj
        42
    imcj  
    OP
       2013-01-23 17:39:13 +08:00
    @tarsier 可以邮件给 @sNullp
    sNullp
        43
    sNullp  
       2013-01-23 17:43:14 +08:00
    @imcj @tarsier 我一开始做free vpn的时候从没想到会有人向我free服务器。太感动了。
    嗯,邮件联系吧,[email protected]
    tarsier
        44
    tarsier  
       2013-01-23 18:08:44 +08:00 via Android
    @sNullp 我也受过v2ex上某坛友的恩惠,抱歉他的id我记不得了估计得找找邮件记录,他的原话是,积善人家,必有余庆,很受用
    slgray
        45
    slgray  
       2013-01-23 18:27:25 +08:00
    @gracece 你可以试试heroku。
    muxi
        46
    muxi  
       2013-01-23 19:47:06 +08:00   1
    @imcj 多少请求量能是io瓶颈这个不太好说,主要看各个VPS服务商的硬件质量,以及高峰期的资源调度、超卖程度等等,不能一概而论,以linode和yardvps为例,linode我自己的网站中静态资源(主要是图片,50~200K不等)请求大概能到220qps就会收到Linode公司要求优化的邮件,yard高峰期基本上在100QPS就瘫痪了(慢得无法接受,io wait 会好几百)

    所以用VPS搭建这种服务真的挺难,不过还是能做不少的事情,比如分布式ping检测 分布式dns生效检查,临时流量调度、临时故障迁移(不过这个貌似得IP漂移或者智能DNS解析了) 等等


    tor这种服务我记得理论上已经被破解了,最新的论文实际上显示,VPN SSH 80端口代理的TCP包特征分析等等已经比较成熟,这个网络搞大了估计还是要被封掉
    imcj
        47
    imcj  
    OP
       2013-01-23 20:09:48 +08:00
    @muxi 我没想过要有多大,大到vps厂商无法接受。我考虑的主要还是,闲置的资源可利用起来。
    muxi
        48
    muxi  
       2013-01-23 23:03:01 +08:00
    @imcj 如果搞不大就没有意义,一个几千PV的动态站点,一个VPS就能够满足,何必要搞那么复杂的技术呢,集群从理论上来说遇到的问题比单个VPS更多,而且因为免费,还没有质量保证,真出错了,也只能自己认了
    muxi
        49
    muxi  
       2013-01-23 23:05:25 +08:00
    从玩和提升技术角度来说,我个人支持做这样的事情,从商业价值和产品角度来考虑,或许投入产出比不高
    aec4d
        50
    aec4d  
       2013-01-24 00:56:09 +08:00
    ...我对VPN感兴趣.有2台闲置的
    imcj
        51
    imcj  
    OP
       2013-01-24 09:06:23 +08:00 via Android
    @aec2d 联系@sNullp :D
    carbon
        52
    carbon  
       2013-01-24 10:48:04 +08:00
    借此热帖,请教各位,怎么才能发新主题啊呀?我怎么都没找到哪里可以发新帖子/主题的链接啊?是不是要达到什么标准才可以发新的呀?还请各位指教!谢谢!@livid 。
    hector
        53
    hector  
       2013-01-24 11:01:09 +08:00   1
    @carbon 每一个节点下面有~
    jackyz
        54
    jackyz  
       2013-01-24 11:52:51 +08:00
    vps 的存储空间太小,存不了多少东西,图床什么的还要考虑存储的可靠性,存到某个节点,他不续费了怎么办。

    比如,我的 vps 只有 20g 磁盘,但流量每月有 200G 。感觉还是用来“提高翻墙可靠性”比较靠谱,之前在别的帖子里也提过:

    1,以交换安全链接的方式实现小范围的相互信任,就算墙来钓鱼一次也只能钓个一两条,他不容易一锅端
    2,以动态轮换安全链接的方式实现低特征翻墙,打一枪换一个地方,行为特征就降低了,不容易被墙锁定

    我的 pobi 项目有这个远期目标,可以提供动态轮换安全链接的功能,但要实现 whole picture,需要做的工作还有很多。哪位同学有时间,做一个交换安全链接的服务吧。
    sNullp
        55
    sNullp  
       2013-01-24 11:58:53 +08:00
    @jackyz 我的VPN马上要成云VPN了,一个节点挂了还有别的节点可以用,登陆账号和后台数据无缝迁移。哈哈
    jackyz
        56
    jackyz  
       2013-01-24 12:50:21 +08:00
    @sNullp 不错 pobi 也正在准备支持 vpn 的安全链路。
    imcj
        57
    imcj  
    OP
       2013-01-24 13:06:28 +08:00
    @jackyz 多节点的,每个节点都保存冗余,起到备份和分流的作用。
    imcj
        58
    imcj  
    OP
       2013-01-24 13:07:43 +08:00
    @sNullp https://gist.github.com/4499611 我这个思路用来本地自发现被墙的域名,在VPN的基础上可以自己路由下,避免浪费VPN流量。
    imcj
        59
    imcj  
    OP
       2013-01-24 13:09:12 +08:00
    @jackyz 我想做个试验看能不能有效利用起来,我正在写这个东西的脚本。

    相比@sNullp 的VPN,对象存储这个想法的脚本是纯Python的,没有c或者其他库的依赖,部署极其容易。
    sNullp
        60
    sNullp  
       2013-01-24 13:10:09 +08:00
    @imcj 这个部署是在客户端上的,只能靠建议大家使用了。
    imcj
        61
    imcj  
    OP
       2013-01-24 13:13:05 +08:00
    @sNullp 客户端?
    jackyz
        62
    jackyz  
       2013-01-24 13:14:28 +08:00
    @imcj check this out: http://docs.basho.com/riak/latest/tutorials/fast-track/What-is-Riak/
    尽力使用已有的轮子,避免重新发明轮子
    imcj
        63
    imcj  
    OP
       2013-01-24 13:19:37 +08:00
    @jackyz 嗯,看到了,我去看看。
    sNullp
        64
    sNullp  
       2013-01-24 13:22:14 +08:00
    @imcj 就是连接vpn的客户使用你这个办法。在服务器端是做不了什么的。
    imcj
        65
    imcj  
    OP
       2013-01-24 13:24:30 +08:00
    @jackyz 看到erlang我就绝望了。

    @sNullp 搞岔了,我知道,我的意思是提供一些脚本,有个叫云梯的卖VPN的提供了一个chnroutes的GUI。
    sNullp
        66
    sNullp  
       2013-01-24 13:27:37 +08:00
    @imcj 嗯。其实有GUI就能做很多有创意的事了,比如更高安全的vpn链接协商、shadowsocks等等。
    但是考虑到移动终端的兼容性我还是不打算做,没这工夫。
    imcj
        67
    imcj  
    OP
       2013-01-24 13:57:41 +08:00
    @sNullp 也是,手机就麻烦了。
    liuxurong
        68
    liuxurong  
       2013-01-24 14:08:36 +08:00
    能否贡献出来搞个云离线下载?楼主想想办法。
    imcj
        69
    imcj  
    OP
       2013-01-24 14:13:07 +08:00
    @liuxurong 你的IDEA用到这个场景相当合适。
    liuxurong
        70
    liuxurong  
       2013-01-24 15:48:20 +08:00
    支持BT,P2P,emule就好了,众包的方式打破迅雷垄断
    liuxurong
        71
    liuxurong  
       2013-01-24 15:49:20 +08:00
    我自己有2个闲余VPS,把楼主关注下先
    imcj
        72
    imcj  
    OP
       2013-01-24 17:34:28 +08:00
    @liuxurong 我对BT不熟,如果只是通过BT下载文件,然后传到这个网络里复杂度应该不会太高。
    imcj
        73
    imcj  
    OP
       2013-01-24 17:34:49 +08:00
    @liuxurong 要是你能贡献些Python代码更好。
    imcj
        74
    imcj  
    OP
       2013-01-24 17:37:22 +08:00
    @Livid 附加内容有时间限制的?
    sNullp
        75
    sNullp  
       2013-01-27 11:23:50 +08:00
    @imcj 最多只能附加3次
    loveminds
        76
    loveminds  
       2013-02-19 02:00:26 +08:00 via iPhone
    @sNullp 可能以后我们会做~CDN互助
    wywh
        77
    wywh  
       2013-02-19 10:52:20 +08:00 via iPad
    @liuxurong bt之类肯定不行,太容易被封。
    loveminds
        78
    loveminds  
       2013-02-19 14:30:06 +08:00 via iPhone
    @loveminds 项目最低要求VPS内存512
    imcj
        79
    imcj  
    OP
       2013-02-19 17:56:27 +08:00
    @loveminds 你自己at自己为那般?求上下文。
    Hyperion
        80
    Hyperion  
       2013-02-19 18:36:13 +08:00
    @imcj 自补充(#74), 应该是这样.
    tedeyang
        81
    tedeyang  
       2013-02-19 18:53:30 +08:00
    云VPN是个好注意
    loveminds
        82
    loveminds  
       2013-02-19 20:07:57 +08:00 via Android
    @imcj 往上看,中间间隔了一个
    bailywen
        83
    bailywen  
       2013-03-06 09:00:21 +08:00 via Android
    我有两台一台HK.一台北京电信通可以贡献。

    另代理北京电信通五线BGP的云主机。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3174 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 12:13 PVG 20:13 LAX 05:13 JFK 08:13
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86