做了一个动态代理 IP 池项目,邀请大家免费测试~ - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
wswuai
V2EX    程序员

做了一个动态代理 IP 池项目,邀请大家免费测试~

  •  
  •   wswuai 2018-06-09 11:44:55 +08:00 13864 次点击
    这是一个创建于 2683 天前的主题,其中的信息可能已经有所发展或是发生改变。

    长期在 V2EX 潜水,

    现在打算出来创业了,目前公司在深圳。

    做了点啥呢,

    就是给爬虫用的动态代理 IP 池啦。

    目前运行很稳定,

    邀请大家来免费测试,

    打我的电话 18129823435

    和我说你是 v2exer 就行 :)

    传送门 http://www.2808proxy.com

    第 1 条附言    2018-06-09 16:00:40 +08:00
    附送一个 关于 反反爬虫策略的文章, https://www.jianshu.com/p/b86920a3e872
    49 条回复    2018-07-02 19:10:26 +08:00
    wswuai
        1
    wswuai  
    OP
       2018-06-09 11:55:48 +08:00
    目前 支持 HTTP/Socks5 /PPTP /L2TP 接入,

    提供 HTTP API 提取

    额...想到哪儿再补充吧...
    a7a2
        2
    a7a2  
       2018-06-09 12:07:36 +08:00
    你能提供的都是已经被识别的包含 ss
    还未被识别的是还未出现的’极力模拟 bt 协议的 vpn ‘,靠你们了,写吧!
    要从绝对底层实现,控制每一个包入 syn,具备 drop 掉 rst 包能力
    wswuai
        3
    wswuai  
    OP
       2018-06-09 12:21:00 +08:00 via iPhone
    我这个项目是给爬虫系统使用的,不是用来翻 gfw 的 vpn ……
    xuxueli
        4
    xuxueli  
       2018-06-09 12:22:52 +08:00 via Android
    赞,可以结合 xxl-crawler 一起使用。

    XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP 动态代理、分布式、JS 渲染"等特性;

    http://www.xuxueli.com/xxl-crawler/#/
    wswuai
        5
    wswuai  
    OP
       2018-06-09 12:39:20 +08:00
    @xuxueli 你写的爬虫框架很棒, 我可以向你的 repo 提交我的 client 嘛?
    jamesfuxk
        6
    jamesfuxk  
       2018-06-09 12:42:28 +08:00
    看了不错,支持支持
    wswuai
        7
    wswuai  
    OP
       2018-06-09 12:43:33 +08:00
    @jamesfuxk 感谢支持!
    xuxueli
        8
    xuxueli  
       2018-06-09 13:33:57 +08:00 via Android
    @wswuai 当然可以啊,后续会拆分出 core 依赖和 sample 示例(目前 sample 写在测试用例目录里的),你可以 pr 一个定制的 client 示例,这样接入你们的代理池就更加方便了,我文档里也更新下。
    ericgui
        9
    ericgui  
       2018-06-09 13:38:27 +08:00
    @wswuai 有美国 ip 么
    wswuai
        10
    wswuai  
    OP
       2018-06-09 13:51:32 +08:00 via iPhone
    @xuxueli 好哒!
    wswuai
        11
    wswuai  
    OP
       2018-06-09 13:51:45 +08:00 via iPhone
    @ericgui 目前只有国内噢
    bigmama
        12
    bigmama  
       2018-06-09 14:36:38 +08:00
    还要打电话啊。。
    lunatic5
        13
    lunatic5  
       2018-06-09 14:53:39 +08:00
    这个不错啊,最近刚好苦于没有高质量的代理用来搞爬虫
    nullen
        14
    nullen  
       2018-06-09 14:54:56 +08:00
    好的。不错。
    artandlol
        15
    artandlol  
       2018-06-09 15:01:25 +08:00 via iPhone
    之前有个项目是,ip 池质量不好,你这个自己搭的吗?
    开源的项目为 https://github.com/imWildCat/scylla
    iConnect
        16
    iConnect  
       2018-06-09 15:06:58 +08:00 via Android
    收藏先,看起来不错,你这个站是用那个模板建的?蛮漂亮的
    akafeng
        17
    akafeng  
       2018-06-09 15:24:44 +08:00
    @ericgui #9 有需要美国的?
    wswuai
        18
    wswuai  
    OP
       2018-06-09 15:55:00 +08:00
    你们都这么懒啊 ... 打个电话都不愿意
    wswuai
        19
    wswuai  
    OP
       2018-06-09 15:59:08 +08:00
    @artandlol

    你的项目看起来是个扫描器,和我们的原理不大一样。

    我们的 IP 都来源于各地的运营商,服务器直接托管在通信机房。

    性能非常稳定, 应用场景比较适合企业使用。

    ping 测试的典型情况是:typical / max / min / mdev / packet loss = 40 / 60 / 30 / 0.5 / <0.01%
    wswuai
        20
    wswuai  
    OP
       2018-06-09 15:59:34 +08:00
    @lunatic5 欢迎来电咨询, :)
    ZJsnowman
        21
    ZJsnowman  
       2018-06-09 16:04:03 +08:00 via Android
    终于看到有人做这方面的商用代理池了,看好。周一申请试用
    wswuai
        22
    wswuai  
    OP
       2018-06-09 16:04:52 +08:00
    @ZJsnowman 感谢支持 ~
    simonsww
        23
    simonsww  
       2018-06-09 16:18:30 +08:00
    @wswuai 这个企业版最高 4320IP/线路提取能力,是每天最多提取这么多 ip 吗,支持并发之类吗,可以杜绝重复 ip 吗
    ash
        24
    ash  
       2018-06-09 17:30:41 +08:00
    楼主 666,靠谱
    xavier007
        25
    xavier007  
       2018-06-09 17:35:20 +08:00
    楼主是否需要 IP,我这里有设备,每个设备目前提供 96 个干净 IP,设备会自动分批次重启,更换新的 IP
    xavier007
        26
    xavier007  
       2018-06-09 17:36:02 +08:00
    NDk5ODczOTU4
    wswuai
        27
    wswuai  
    OP
       2018-06-09 17:36:36 +08:00
    @simonsww 是指每条“线路”, 是按最少的 IP 持有时间算, 最多可能提取的 IP 数。

    这个 4320 = (24 小时*60 分钟*60 秒)/ 20 秒(企业版本)资源最小持有时间

    每个“线路”在同一时刻只能持有一个 IP 地址,在你完成一个任务之后, 你可以释放掉它,然后从 IP 池中提取一个新的 IP 地址。

    我们定价是按 “最大持有资源数” ,也就是线路占用数定价的。

    比如你采购了 10 个“线路”, 那么你最多同时持有 10 个 IP 地址, 用完了之后就释放掉,然后你就可以再次提取 10 个 IP 地址,循环往复。

    每次提取 IP 地址, 你都可以持有相当长的时间(比如一年),或者相当短的时间(比如 20 秒), 这个时间由你决定,时间最长 可以持有一年(之后可能会发生断线), 最短 20 秒,时间长短,由你的业务而定,都是由你自己说了算。

    当你持有那个线路之后, 你通过 HTTP/Socks5 代理的方式连接到它, 请求频率、流量 都没有限制(实际带宽在 10Mbps 左右、不建议并发数超过 100 )

    关于 IP 重复率: 由于技术实现的方法所限,我们目前没有做去重,如果你业务上需要去重,需要你手动来做。
    wswuai
        28
    wswuai  
    OP
       2018-06-09 17:37:54 +08:00
    @xavier007 如果合作可以联系 : 18129823435
    wswuai
        29
    wswuai  
    OP
       2018-06-09 17:39:29 +08:00
    @ash 蟹蟹阿石~
    wswuai
        30
    wswuai  
    OP
       2018-06-09 17:40:03 +08:00
    @bigmama 或者我也可以给你打呀~
    xavier007
        31
    xavier007  
       2018-06-09 18:15:29 +08:00
    @wswuai 我们这个设备的 IP 都是手机 IP,绝对干净
    artandlol
        32
    artandlol  
       2018-06-09 18:17:13 +08:00 via iPhone
    很多游戏平台需要这类的工具,试用过这类的软件,都是面向用户的。
    wswuai
        33
    wswuai  
    OP
       2018-06-09 20:06:53 +08:00 via iPhone
    @artandlol 嗯,很多同类软件是面向游戏的。 我这边主要面向企业客户,爬虫系统这边。
    naiba
        34
    naiba  
       2018-06-09 20:21:29 +08:00 via Android
    反爬这个还是比较初级,
    hhacker
        35
    hhacker  
       2018-06-09 20:27:51 +08:00
    。。。比较好奇你们是怎么获取到这些各地海量的 ip 地址?我之前稍微查了一下,有拨号 vps 的玩法但是成本可不低
    wswuai
        36
    wswuai  
    OP
       2018-06-09 20:38:07 +08:00 via iPhone
    @naiba 我的文章写的也比较简单,挂一漏万,如果你这边有哪些反爬策略,可以指点一下,我丰富一下文章内容
    wswuai
        37
    wswuai  
    OP
       2018-06-09 20:39:40 +08:00 via iPhone
    @hhacker emmm,我们把服务器直接放在运营商通信机房啦,具体不能说太细,拨号 vps 和我们的实现方式差不多,但是提供的服务不是一样的。 我这边已经通过系统管理好了可靠性和可用性,你直接用就好,不用操心别的。
    Nick2VIPUser
        38
    Nick2VIPUser  
       2018-06-09 23:34:38 +08:00
    先赞了再说,正好有类似的需求~
    Nick2VIPUser
        39
    Nick2VIPUser  
       2018-06-09 23:39:02 +08:00
    想了解一下提取 api 具体情况
    比如按最低配单价算的 api 的访问限制频率,每次提取的个数
    是否有根据不同客户的业务(爬不同的网站)来细分不同的池子~
    页面的内容太少啦,现在的人可能都不太习惯马上打电话;直接从宣传资料上获得信息可能会轻松一点......
    ericgui
        40
    ericgui  
       2018-06-10 06:59:21 +08:00 via Android
    @chinafeng 是,需要美国的
    doubleflower
        41
    doubleflower  
       2018-06-10 11:07:43 +08:00
    不错,价格也便宜
    wswuai
        42
    wswuai  
    OP
       2018-06-10 13:32:29 +08:00 via iPhone
    @Nick2VIPUser 明白了,现在网站的内容确实是少了点,回头多完善一点。所以说还是用手机联系比较容易呀
    vus520
        43
    vus520  
       2018-06-10 14:00:25 +08:00
    顺道推荐一个海外的 https://socks5.io/
    royzxq
        44
    royzxq  
       2018-06-10 20:07:35 +08:00
    mark 一下应该用得上
    wswuai
        45
    wswuai  
    OP
       2018-06-11 10:27:21 +08:00
    周一啦, 大家如果有需求可以联系我哈~
    wswuai
        46
    wswuai  
    OP
       2018-06-11 10:28:48 +08:00
    @Nick2VIPUser 目前我们没有 IP 提取频率的次数限制, 但是有 IP 最少持有时间的限制,企业级客户是最短 20 秒, 个人客户最短 60 秒。
    shaobin
        47
    shaobin  
       2018-06-23 19:57:57 +08:00
    居然做了和我一模一样的项目。
    shaobin
        48
    shaobin  
       2018-06-23 20:03:15 +08:00
    wswuai
        49
    wswuai  
    OP
       2018-07-02 19:10:26 +08:00
    大家也可以加我 QQ 32911290 联系我
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     957 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 19:53 PVG 03:53 LAX 12:53 JFK 15:53
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86