订阅合并,去重,重命名,可用性检测 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
bestrui
V2EX    分享创造

订阅合并,去重,重命名,可用性检测

  •  
  •   bestrui 279 天前 3940 次点击
    这是一个创建于 279 天前的主题,其中的信息可能已经有所发展或是发生改变。

    没有找到一款类似的工具,所以自己写了一个

    Github 直达bestruirui/mihomo-check

    • 多线程 1000 个节点测试仅需 5 分钟
    • 低占用,200 个线程仅占用 15%CPU
    • 合并,去重,可用性,解锁情况一条龙

    测试截图

    36 条回复    2025-01-20 01:52:27 +08:00
    Ccf
        1
    Ccf  
       279 天前
    关注了,不明觉厉
    ovtfkw
        2
    ovtfkw  
       279 天前   1
    订阅啥 标题都说不明白
    lovestudykid
        3
    lovestudykid  
       279 天前
    这还能有重的?
    cunoe
        4
    cunoe  
       279 天前 via Android
    配置文件没有 example
    totoro625
        5
    totoro625  
       279 天前
    去重是如何实现的?针对的是薯条吗?
    bestrui
        6
    bestrui  
    OP
       279 天前 via Android
    @totoro625 根据服务器和端口去重
    bestrui
        7
    bestrui  
    OP
       279 天前 via Android
    @cunoe 在 doc 文件夹下,直接运行程序会自动在当前目录生成一个配置文件
    totoro625
        8
    totoro625  
       279 天前
    @bestrui #6 去重功能不太行
    例如:hk1.examlpe 和 hk2.examlpe 和 hk3.examlpe 也是重复节点,没能去重

    另外没有将最终配置保存至本地
    xinzi
        9
    xinzi  
       279 天前
    config.yaml
    里面是 订阅链接 还是直接是配置
    INFO[2025-01-06T08:45:30.900735250+08:00] 配置文件不存在,创建默认配置文件
    INFO[2025-01-06T08:45:30.903072195+08:00] 默认配置文件创建成功
    INFO[2025-01-06T08:45:30.903308617+08:00] 请编辑配置文件: /app/config.yaml
    INFO[2025-01-06T08:45:31.328810443+08:00] 配置文件读取成功
    INFO[2025-01-06T08:45:31.329435673+08:00] IP 数据库不存在,开始下载
    INFO[2025-01-06T08:45:32.228536357+08:00] IP 数据库下载成功
    INFO[2025-01-06T08:45:32.229063907+08:00] 进度展示 true
    INFO[2025-01-06T08:45:32.229308132+08:00] 开始检测 IP
    INFO[2025-01-06T08:45:32.229515230+08:00] 共设置 2 个订阅链接
    ERRO[2025-01-06T08:45:32.312462608+08:00] 获取订阅链接失败: <nil>,重试次数: 1
    ERRO[2025-01-06T08:45:33.317966404+08:00] 获取订阅链接失败: <nil>,重试次数: 2
    ERRO[2025-01-06T08:45:35.322297205+08:00] 获取订阅链接失败: <nil>,重试次数: 3
    ERRO[2025-01-06T08:45:38.327436341+08:00] 获取订阅链接失败: <nil>,重试次数: 4
    bestrui
        10
    bestrui  
    OP
       278 天前 via Android
    @totoro625 这三个域名不一样,被视为三个节点
    bestrui
        11
    bestrui  
    OP
       278 天前 via Android
    @xinzi 现在只支持 mihomo 格式的订阅
    bestrui
        12
    bestrui  
    OP
       278 天前 via Android
    @totoro625 现在只能上传到 worker ,保存本地功能最近加
    xinzi
        13
    xinzi  
       278 天前
    如果可以跟这个项目组合就好了
    https://linux.do/t/topic/120216
    totoro625
        14
    totoro625  
       278 天前
    @bestrui #10 既然已经配置了“IP 查询 API”完全可以把域名全部解析为 IP 后进行去重
    部分无良机场同一节点(相同 IP 相同端口)复制出十几个节点,看上去节点非常多,实际上都是重复的
    bestrui
        15
    bestrui  
    OP
       278 天前 via Android
    @totoro625 晚点加入
    molezznet
        16
    molezznet  
       278 天前
    除了 cf 的 r2 , 暂时还不支持其他方式了
    bestrui
        17
    bestrui  
    OP
       278 天前 via Android
    @molezznet 本地的最近会加
    xzpjerry731
        18
    xzpjerry731  
       278 天前 via iPhone
    bestrui
        19
    bestrui  
    OP
       278 天前 via Android
    @xzpjerry731 这个只能聚合管理,我的可以去重,检测流媒体解锁,重命名分类
    bestrui
        20
    bestrui  
    OP
       278 天前 via Android
    @xzpjerry731 这个只能聚合管理,和我的还是有些区别的
    bestrui
        22
    bestrui  
    OP
       278 天前 via Android
    @molezznet 现在只能识别 mihomo 的,通用的正在写
    bestrui
        23
    bestrui  
    OP
       278 天前   1
    @molezznet 刚增加了保存到本地
    bestrui
        24
    bestrui  
    OP
       278 天前
    @totoro625 增加了
    bestrui
        25
    bestrui  
    OP
       277 天前
    @totoro625 现已增加,可以再试试
    totoro625
        26
    totoro625  
       277 天前
    @bestrui #25 部分域名没有转换为域名,是否是同时解析的 IP 过多导致的速率限制?我测试的 200 个节点
    molezznet
        27
    molezznet  
       277 天前
    @bestrui 本地的 output 输出配置似乎还有点问题? yaml 配置里只有 proxy 。不知道 r2 是不是也是仅是这个, 要添加入其他完整配置的 proxy provider 里使用?

    导致使用 mihomo -c all.yaml 或是 mihomo -d ./output 都无法启动
    bestrui
        28
    bestrui  
    OP
       277 天前
    molezznet
        29
    molezznet  
       277 天前
    @bestrui 果然还有个文件,看来还是优先 r2 方便
    molezznet
        30
    molezznet  
       275 天前
    有 gist 配置了 赞
    xinzi
        31
    xinzi  
       271 天前
    To use xtls-rprx-vision, ensure your server is upgrade to Xray-core v1.8.0+
    是需要自己加到 dockerfile 里面吗?
    molezznet
        32
    molezznet  
       271 天前
    ```
    wsarecv: An existing connection was forcibly closed by the remote host.,重试次数: 12"
    ```
    多个链接中, 有一个失效时, 会卡在重试 ……
    molezznet
        33
    molezznet  
       271 天前
    好吧, 更新的也太快太及时了 。 刚提交就更新
    molezznet
        34
    molezznet  
       271 天前 via Android
    如果将 config 里延迟从 5000 改到 500 ,是不是还能算是个网络环境优选操作了?
    bestrui
        35
    bestrui  
    OP
       265 天前 via Android
    @xinzi 不需要,这个忽略就好
    bestrui
        36
    bestrui  
    OP
       265 天前 via Android
    @molezznet 是的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2446 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 01:14 PVG 09:14 LAX 18:14 JFK 21:14
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86