查找中国 http 代理的比较可靠方法/网站 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
KentY
V2EX    程序员

查找中国 http 代理的比较可靠方法/网站

  •  
      KentY
    sk1418 2015-12-28 21:24:10 +08:00 8144 次点击
    这是一个创建于 3580 天前的主题,其中的信息可能已经有所发展或是发生改变。

    查找具有中国 IP 的 http 代理方法或网站是什么?

    需求:

    • 通过国内代理, baidu 网盘打开速度, 下载速度比较快. 我这里 100mbps 的网, 下网盘的东西通常小于 100k, 时而抽风最快到 400 多 k, 碰上个好的代理可以到 1,2M 多.

    • 网易,虾米什么的歌曲可以在线听

    目前我就是在 http://proxy-list.org/ 上找中国的代理, 并写了个脚本 https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py 来按速度显示便于 cp.

    又弄了个本地 pac 给 firefox 来自动设置代理:
    https://github.com/sk1418/myScripts/blob/master/shell/ffproxy.sh

    可是我发现, 那个网站有时候代理标称的速度和实际不符, 要手动试好几次. 挺麻烦. 想了解下, 比较靠谱的获得国内代理的方式是什么, 最好有一个(或几个)网站, 我好把脚本更新了. 不要求时效多长, 稍微稳定就可以了. 1,2 天更换一次我可以接受.

    谢谢

    20 条回复    2017-02-15 05:52:29 +08:00
    LGA1150
        1
    LGA1150  
       2015-12-28 21:42:40 +08:00
    实际上很多中国的代理 IP 是运营商做的缓存
    移动居多,如 120.198.231.0/24 120.198.243.0/24
    你可以用网站检测工具 DNS 解析一下各下载服务器的域名
    TaMud
        2
    TaMud  
       2015-12-28 23:47:45 +08:00
    KentY
        3
    KentY  
    OP
       2015-12-29 00:18:36 +08:00
    @TaMud 谢谢
    等我回家测试一下代理质量.
    这个 post 返回的还不错是 json, 脚本应该比较容易改, 还有 download_speed 测试结果.
    挺好的.
    wwek
        4
    wwek  
       2015-12-29 08:50:11 +08:00
    @TaMud 不错
    wwek
        5
    wwek  
       2015-12-29 09:24:13 +08:00
    TaMud
        6
    TaMud  
       2015-12-29 12:04:33 +08:00
    @KentY 这网站有反爬虫机制,虽然看起来好简单,其实并不简单,如要爬下来,要研究研究
    popok
        7
    popok  
       2015-12-29 15:43:27 +08:00
    @TaMud
    mark
    henices
        8
    henices  
       2015-12-29 16:44:57 +08:00
    KentY
        9
    KentY  
    OP
       2015-12-29 18:32:25 +08:00
    @TaMud 是, 我昨天觉得三下五除二改了就行了. 结果发现好像有几个 ID 是 server 那边生成的, 不那么容易弄出来. 等有时间了再细研究.
    TaMud
        10
    TaMud  
       2015-12-29 20:47:21 +08:00
    @KentY 要不把网站发到 V2EX 上让大家一起研究研究,是有点难度
    KentY
        11
    KentY  
    OP
       2015-12-29 20:53:42 +08:00
    @TaMud 你不已经发在上面了吗... 你是说要我把 request headers 贴上来?
    TaMud
        12
    TaMud  
       2015-12-29 20:55:40 +08:00
    @KentY 我的意思是重开一贴,让大家一起来研究一下这个网站的反爬虫机制
    KentY
        13
    KentY  
    OP
       2016-01-01 23:37:24 +08:00
    @TaMud 元旦放假, 在家看了下, 抓下来了.

    这个页面的反爬机制是, 一个 proxy.js 来设置一些 cookie, 这个 proxy.js 加密了, 让你不知道它要检查哪些 cookie. 通过 decrypt 这个 proxy.js 就发现了那些 cookie 的名字以及什么值.

    扩充了我自己的 cnProxy 脚本, 如有兴趣看下,见:

    https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py#L61
    TaMud
        14
    TaMud  
       2016-01-05 19:59:10 +08:00
    @KentY 直接提示 hello bot
    KentY
        15
    KentY  
    OP
       2016-01-05 20:25:36 +08:00
    @TaMud
    你是用的我的那个 cnProxy.py 吗? 我这里可以的, 可以输出. 在家, 在办公室(有代理)都可以:

    211.144.81.68:18000 242 (kib or ranking)
    180.97.185.35:10001 232 (kib or ranking)
    211.144.81.69:18000 150 (kib or ranking)
    112.16.87.160:80 148 (kib or ranking)
    211.144.72.154:8080 129 (kib or ranking)
    TaMud
        16
    TaMud  
       2016-01-05 22:26:39 +08:00
    @KentY ip 不同就不能用,你的 ip 是固定 ip 吧
    KentY
        17
    KentY  
    OP
       2016-01-05 23:08:05 +08:00
    @TaMud 我公司 ip 应该是固定的, 我家是拨号的, 一直没重拨, 但是应该不是固定.
    hehuozhao
        18
    hehuozhao  
       2016-01-24 14:16:07 +08:00
    @KentY 谢谢你的脚本,我修改了一下变得可以兼容 Python 3 了, Pull Request 在这里, https://github.com/sk1418/myScripts/pull/2

    建议使用 lxml 代替 BeautifulSoup ,可以按 html tag 查找而不需要自己写 Regex ,速度也快很多。
    KentY
        19
    KentY  
    OP
       2016-03-01 18:56:44 +08:00
    @hehuozhao 那个网站修改了返回内容, 做了相应修改.
    KentY
        20
    KentY  
    OP
       2017-02-15 05:52:29 +08:00
    @TaMud 这个一直用着挺好, 怎么忽然不能访问了? 有内情?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1654 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 16:16 PVG 00:16 LAX 09:16 JFK 12:16
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86