V2EX z1421012325 的所有回复 第 1 页 / 共 2 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    z1421012325    全部回复第 1 页 / 共 2 页
回复总数  35
1  2  
2019-07-07 19:30:38 +08:00
回复了 harley27 创建的主题 Python 用 Python 开发 APP 有什么好处和坏处?
@Trim21 我想问一下 python web 现在用怎么样?我在学
@ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

更新一下,爬了五个小时 之后再去看发现数据库中的指纹都没了..
更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..
@zzy578 详情页没啥反爬,只是列表页不好弄
2019-06-22 19:27:56 +08:00
回复了 liugene 创建的主题 Python 有人知道最新的淘宝详情页面的销量数据怎么爬吗?
源码爬不到,不过有接口,刚看了下有天猫的月销量在内,你全局搜索一下就找到了
@www6688w 真实模式也没用啊,根据用户习惯分析就能轻松反爬,毕竟一个人不可能一天之内浏览这么多页面的
@akira ip 倒是没啥问题,问题是账号,再说了如果被发现是爬虫,那么这个账号短时间内不能使用了,还有貌似每天都会让你登陆一次获取 cookies..
@Baboonowen 也对,但是爬虫就是要反反爬吧
@daquandiao2 都算是构想,第一种我机器配置不行,在模拟器中开淘宝直接卡死,第二种还在想怎么弄,这不来 v2 上看看大家有什么思路不?
@shanlan 学习不商用,试试爬爬,加强技能
而且我不一定全站爬取,只要热门商品前面的就行,大概是每个商品爬个 5 60 页就爬下一个
@o00o app 端有没有试过?,我这边弄不了,机器开虚拟机配置不行,淘宝都打不开...
@VDimos 我也知道啊,但是学习不商用,而且也不是要全部爬取,只要能运行成功一天就好了
@locoz 感谢大佬的文档,不过我有个问题,

比如我是在 win 下使用 mitmdump 拦截数据保存的,

但是我需要手动滑动一些页面,想要使用自动化软件 airtestIDE 让手机自动化,发现使用的是模拟器,没有使用真机,想知道怎么无线让两个运作起来??共用同一个端口也不行吧?


网络上的教程都是使用抓包软甲+有线 adb 手机抓取, 难道只能使用真机+有线来操控吗
@jamev5 这种对于证书能搞定吗,对安卓版本有没有要求啊?
@duan602728596 根据需求来越狱吧? 我直接在 wifi 中写入代理和端口,在 ios 自带的浏览器上下证书,直接安装信任就好了,直接抓到 https 的请求,比起安卓简单的太多了,除非 app 中含有 sslpinning 才需要把?我尝试了起点的 https 请求可以抓到,抖音也行
@Jirajine 我用模拟器试了下,直接用安卓版本 5.0 以上的 用 xposed +justtrustme 可以无视证书,证书的安装也不用了,charles 能抓到 https 的请求了 这是我写的随笔 https://www.cnblogs.com/zengxm/p/11061900.html
@noparking188 这个函数的方法 s.connect(("8.8.8.8", 80)) 什么意思,我还没学这个...看不懂
@locoz 我设置的是 0.0.0.0/0 都可以访问,但是用不了
@lzvezr 哈哈 我也正在做虚拟机版的,


不知道 windows 的电脑使用 AirtestIDE 能不能控制 ios 啊?
1  2  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3127 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 20ms UTC 11:49 PVG 19:49 LAX 04:49 JFK 07:49
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86