自动下载 Twitter 视图片 golang 实现

Github 地址

Github: https://github.com/gohiweeds/twitterdownloader.git

功能

• 支持 Socks5 代理配置

国内的：支持设置 SOCK5 代理，下载 Twitter 视频图片

如果已经配置了就不需要了使用 SOCK5 下载了,如下，直接下载即可，无须配置 HTTP 代理。 MacOS:

export http_proxy=xxx export https_proxy=xxx 

原因

前一段时间浏览 Twitter 看到了一个搞笑的视频，想保存下来，但是发现都是 hls 的视频片段，下载挺麻烦的，于是用 golang 实现了一个自动下载 Tweet 的视频功能。

实现原理

Twitter 的视频是通过 Javascript 的执行来完成的，都是 xhr 的请求。 这种方式下载比较麻烦，之前我的打算是 golang 中搭建一个 Javascript 的解释器然后计算执行，但是执行过程中遇到了一些问题，Javascript + DOM 的绑定等，比较复杂，对于一个嵌入式工程师来说，对 Javascript 也不是很熟悉，作罢。

后来在 github 上找到了一个直接请求相对 uri 直接获取配置的，现在已经过期了还是 python 实现，依赖过多，没有用处，但是提供了思路。

我就按照获取的视频 json 的配置信息 url,来获取，又遇到了难题，就是访问此路径需要认证，没办法，抓取数据包分析，然后模拟了 guest 的认证，最终可获取了视频配置，然后根据视频 url 下载 m3u8,然后下载视频文件，重组成 mp4 格式的文件即可。

总结

本来在实现过程中发现 Twitter 的视频请求方式的时候，我是打算算了，反正无关痛痒的项目，但是内心的小执着觉得不能这么算了，虽然后来又遇到了认证问题，但还是有惊无险的完成了。