理论上是一个简单 app 抓包,但总是抓不到特定的图片,求助 V2 大神 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
misaka0002
V2EX    Python

理论上是一个简单 app 抓包,但总是抓不到特定的图片,求助 V2 大神

  •  
  •   misaka0002 2020 年 11 月 2 日 4526 次点击
    这是一个创建于 1904 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目标 app:网易云音乐 - 因乐交友

    抓包工具用的 Fiddler,安卓模拟器用的网易 Mumu ;
    例行设置 wifi 代理,安装 ssl 证书,然后打开 app,也抓到了很多东西,包括广告图片、用户图片、专辑图片,没什么难度;

    但抓取里面的「因乐交友」小程序的图片时,Fiddler 毫无反应;
    也考虑是不是程序预先加载了,但连续翻了好几十页,Fiddler 也都没反应;

    换过 Charles 来抓,失败;
    使用 Drony,ProxyDroid 全局代理,失败;

    我一度甚至怀疑图片是不是用了什么特殊的协议来传输的;

    最后用 PacketCapture 抓到了,发现就是简单的 HTTP ???
    甚至把链接复制到浏览器里就能直接打开;


    ……那为何 Fiddler 抓不到?太神秘了

    但 PacketCapture 有个问题,抓包结果只能在手机端看,无法和 PC 联动,很不方便。
    还是希望哪位大神能找到什么方法,可以用 Fiddler 抓到。


    --------------
    [后续]
    Fiddler 挂了一段时间,发现能探测到因乐交友保存图片的域名,但是返回失败。白丝不得骑姐。
    再次求助 V2 大神指点迷津
    18 条回复    2020-11-03 14:40:07 +08:00
    misaka0002
        1
    misaka0002  
    OP
       2020 年 11 月 2 日
    xchaoinfo
        2
    xchaoinfo  
       2020 年 11 月 2 日 via Android
    443, 会不会是证书的问题,在手机浏览器访问其他 https 链接测试了吗?
    VHacker1989
        3
    VHacker1989  
       2020 年 11 月 2 日
    ssl pinning
    hitaoguo
        4
    hitaoguo  
       2020 年 11 月 2 日
    iPhone + Charles 成功
    wushigejiajia01
        5
    wushigejiajia01  
       2020 年 11 月 2 日
    我用 fiddler 时,手机就一直无法连接网络

    网上找了一堆方法, 都没用
    wushigejiajia01
        6
    wushigejiajia01  
       2020 年 11 月 2 日
    用 Charles 时, 返回值全是乱码, 也没法看

    根据网上找到的方法设置, 也没用

    ε=(ο`*)))唉
    cheng6563
        7
    cheng6563  
       2020 年 11 月 2 日 via Android
    APP 可以强制不走代理,fiddler 就抓不到
    krapnik
        8
    krapnik  
       2020 年 11 月 2 日
    Rules-Hide Image Requests
    lvming6816077
        9
    lvming6816077  
       2020 年 11 月 2 日
    看样子是证书没装成功,另外 Android 9 或 10 的私有证书安装是比较麻烦的
    datou
        10
    datou  
       2020 年 11 月 2 日
    @lvming6816077 模拟器一般都是 Android4.x 和 5.0
    locoz
        11
    locoz  
       2020 年 11 月 2 日
    能看到建立连接的包但没有后续的话,就是证书问题啊。
    建议先确认一下打开个网页啥的看能不能正常抓到 HTTPS 包,排除掉证书没装好的问题,理论上来讲如果 APP 没玩骚操作的话,你 VPN 抓包能抓到、不出证书错误的东西,走代理也不会有啥问题。
    如果 APP 玩骚操作了的话,可能就是检测是否有设置代理,有的话就启用 SSL Pinning 、双向证书验证啥的...但是这没啥意义,感觉不会有这么落智的操作。
    locoz
        12
    locoz  
       2020 年 11 月 2 日
    @wushigejiajia01 #5 无法连接网络的原因很多,比如可能是代理服务器没开好对局域网开放、设置代理时填错了 IP 或端口、证书没有正常装上,又或者干脆就是 APP 做了检测而已。“无法连接网络”这种说法最好是确定到具体的情况,比如“APP 显示无法连接网络”。

    @wushigejiajia01 #6 返回值全是乱码的原因也有很多,证书没装好的情况下看 HTTPS 包是乱码、APP 对包的内容做了压缩也是乱码、APP 对包的做了加密也是乱码。同样,这种说法也最好是确定到具体的情况,比如“HTTP Response 里的东西是乱码”。
    wushigejiajia01
        13
    wushigejiajia01  
       2020 年 11 月 2 日
    @locoz
    1. IP 端口 证书 都设置正确, 手机所有软件就都是无法联网了

    2. 出参跟入参都是乱码....

    大佬求助

    T.T
    geebos
        14
    geebos  
    PRO
       2020 年 11 月 2 日
    locoz
        15
    locoz  
       2020 年 11 月 3 日
    @wushigejiajia01 那应该就是你 IP 、端口、证书或者代理服务器的设置有问题导致的,检查一下吧
    misaka0002
        16
    misaka0002  
    OP
       2020 年 11 月 3 日
    @xchaoinfo #2
    @locoz #11

    抱歉又打扰各位,我又检查了一下,证书是 OK 的,在 APP 主页面可以解析出 http 和 https,唯独进入那个类似小程序的 因乐交友 页面就解析不出来(包括图片和流媒体 都没有反应)。

    现在问题是:
    1. 证书正常;
    2. 可以肯定,这里的图片对应的传输协议是 HTTP,其实也用不到证书;
    3. APP 其他地方的图片都可以抓,唯独这里抓不到;
    4. 用过 proxyDroid 强行定向,无效。此时内容也都可以正常加载,没有终止连接,因此也不像是 ssl ping ;


    模拟器用的 Android 5 。
    那个对应的图片域名 lovemusic.nos-jd.163yun.com 在 Fiddler 中 基本上是 不出现的,很偶尔的情况会出现一两次,也不清楚原因。




    misaka0002
        17
    misaka0002  
    OP
       2020 年 11 月 3 日
    @krapnik Fiddler 没有开过滤规则
    misaka0002
        18
    misaka0002  
    OP
       2020 年 11 月 3 日
    ======后续======

    结合 Drony 最终抓到了图片。但这次显示又是 HTTPS…… -_-|||



    之前也试过 Drony,没成功的原因可能是设置问题。我按照下面链接里的设置最后成功了。
    https://www.jianshu.com/p/75b3ad732183
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3396 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 11:13 PVG 19:13 LAX 03:13 JFK 06:13
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86