长期在 V2EX 潜水,
现在打算出来创业了,目前公司在深圳。
做了点啥呢,
就是给爬虫用的动态代理 IP 池啦。
目前运行很稳定,
邀请大家来免费测试,
打我的电话 18129823435
和我说你是 v2exer 就行 :)
1 wswuai OP 目前 支持 HTTP/Socks5 /PPTP /L2TP 接入, 提供 HTTP API 提取 额...想到哪儿再补充吧... |
2 a7a2 2018-06-09 12:07:36 +08:00 你能提供的都是已经被识别的包含 ss 还未被识别的是还未出现的’极力模拟 bt 协议的 vpn ‘,靠你们了,写吧! 要从绝对底层实现,控制每一个包入 syn,具备 drop 掉 rst 包能力 |
3 wswuai OP 我这个项目是给爬虫系统使用的,不是用来翻 gfw 的 vpn …… |
![]() | 4 xuxueli 2018-06-09 12:22:52 +08:00 via Android 赞,可以结合 xxl-crawler 一起使用。 XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP 动态代理、分布式、JS 渲染"等特性; http://www.xuxueli.com/xxl-crawler/#/ |
![]() | 6 jamesfuxk 2018-06-09 12:42:28 +08:00 看了不错,支持支持 |
![]() | 8 xuxueli 2018-06-09 13:33:57 +08:00 via Android @wswuai 当然可以啊,后续会拆分出 core 依赖和 sample 示例(目前 sample 写在测试用例目录里的),你可以 pr 一个定制的 client 示例,这样接入你们的代理池就更加方便了,我文档里也更新下。 |
12 bigmama 2018-06-09 14:36:38 +08:00 还要打电话啊。。 |
![]() | 13 lunatic5 2018-06-09 14:53:39 +08:00 这个不错啊,最近刚好苦于没有高质量的代理用来搞爬虫 |
![]() | 14 nullen 2018-06-09 14:54:56 +08:00 好的。不错。 |
![]() | 15 artandlol 2018-06-09 15:01:25 +08:00 via iPhone 之前有个项目是,ip 池质量不好,你这个自己搭的吗? 开源的项目为 https://github.com/imWildCat/scylla |
16 iConnect 2018-06-09 15:06:58 +08:00 via Android 收藏先,看起来不错,你这个站是用那个模板建的?蛮漂亮的 |
18 wswuai OP 你们都这么懒啊 ... 打个电话都不愿意 |
19 wswuai OP @artandlol 你的项目看起来是个扫描器,和我们的原理不大一样。 我们的 IP 都来源于各地的运营商,服务器直接托管在通信机房。 性能非常稳定, 应用场景比较适合企业使用。 ping 测试的典型情况是:typical / max / min / mdev / packet loss = 40 / 60 / 30 / 0.5 / <0.01% |
![]() | 21 ZJsnowman 2018-06-09 16:04:03 +08:00 via Android 终于看到有人做这方面的商用代理池了,看好。周一申请试用 |
23 simonsww 2018-06-09 16:18:30 +08:00 @wswuai 这个企业版最高 4320IP/线路提取能力,是每天最多提取这么多 ip 吗,支持并发之类吗,可以杜绝重复 ip 吗 |
![]() | 24 ash 2018-06-09 17:30:41 +08:00 楼主 666,靠谱 |
25 xavier007 2018-06-09 17:35:20 +08:00 楼主是否需要 IP,我这里有设备,每个设备目前提供 96 个干净 IP,设备会自动分批次重启,更换新的 IP |
26 xavier007 2018-06-09 17:36:02 +08:00 NDk5ODczOTU4 |
27 wswuai OP @simonsww 是指每条“线路”, 是按最少的 IP 持有时间算, 最多可能提取的 IP 数。 这个 4320 = (24 小时*60 分钟*60 秒)/ 20 秒(企业版本)资源最小持有时间 每个“线路”在同一时刻只能持有一个 IP 地址,在你完成一个任务之后, 你可以释放掉它,然后从 IP 池中提取一个新的 IP 地址。 我们定价是按 “最大持有资源数” ,也就是线路占用数定价的。 比如你采购了 10 个“线路”, 那么你最多同时持有 10 个 IP 地址, 用完了之后就释放掉,然后你就可以再次提取 10 个 IP 地址,循环往复。 每次提取 IP 地址, 你都可以持有相当长的时间(比如一年),或者相当短的时间(比如 20 秒), 这个时间由你决定,时间最长 可以持有一年(之后可能会发生断线), 最短 20 秒,时间长短,由你的业务而定,都是由你自己说了算。 当你持有那个线路之后, 你通过 HTTP/Socks5 代理的方式连接到它, 请求频率、流量 都没有限制(实际带宽在 10Mbps 左右、不建议并发数超过 100 ) 关于 IP 重复率: 由于技术实现的方法所限,我们目前没有做去重,如果你业务上需要去重,需要你手动来做。 |
![]() | 32 artandlol 2018-06-09 18:17:13 +08:00 via iPhone 很多游戏平台需要这类的工具,试用过这类的软件,都是面向用户的。 |
![]() | 34 naiba 2018-06-09 20:21:29 +08:00 via Android 反爬这个还是比较初级, |
35 hhacker 2018-06-09 20:27:51 +08:00 。。。比较好奇你们是怎么获取到这些各地海量的 ip 地址?我之前稍微查了一下,有拨号 vps 的玩法但是成本可不低 |
36 wswuai OP @naiba 我的文章写的也比较简单,挂一漏万,如果你这边有哪些反爬策略,可以指点一下,我丰富一下文章内容 |
37 wswuai OP @hhacker emmm,我们把服务器直接放在运营商通信机房啦,具体不能说太细,拨号 vps 和我们的实现方式差不多,但是提供的服务不是一样的。 我这边已经通过系统管理好了可靠性和可用性,你直接用就好,不用操心别的。 |
![]() | 38 Nick2VIPUser 2018-06-09 23:34:38 +08:00 先赞了再说,正好有类似的需求~ |
![]() | 39 Nick2VIPUser 2018-06-09 23:39:02 +08:00 想了解一下提取 api 具体情况 比如按最低配单价算的 api 的访问限制频率,每次提取的个数 是否有根据不同客户的业务(爬不同的网站)来细分不同的池子~ 页面的内容太少啦,现在的人可能都不太习惯马上打电话;直接从宣传资料上获得信息可能会轻松一点...... |
![]() | 41 doubleflower 2018-06-10 11:07:43 +08:00 不错,价格也便宜 |
42 wswuai OP @Nick2VIPUser 明白了,现在网站的内容确实是少了点,回头多完善一点。所以说还是用手机联系比较容易呀 |
![]() | 43 vus520 2018-06-10 14:00:25 +08:00 顺道推荐一个海外的 https://socks5.io/ |
44 royzxq 2018-06-10 20:07:35 +08:00 mark 一下应该用得上 |
45 wswuai OP 周一啦, 大家如果有需求可以联系我哈~ |
46 wswuai OP @Nick2VIPUser 目前我们没有 IP 提取频率的次数限制, 但是有 IP 最少持有时间的限制,企业级客户是最短 20 秒, 个人客户最短 60 秒。 |
47 shaobin 2018-06-23 19:57:57 +08:00 居然做了和我一模一样的项目。 |
48 shaobin 2018-06-23 20:03:15 +08:00 |
49 wswuai OP 大家也可以加我 QQ 32911290 联系我 |