野生程序员斗鱼直播写爬虫，抓双十一秒杀商品

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 3262 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫写好了再写个网站把商品列表挂出来，今年准备全部开源。
直播地址 http://www.douyu.com/laoyuan
项目地址 https://github.com/laoyuan/wanggoumiji

第 1 条附言 2016-11-12 09:28:46 +08:00

秒杀已开帖 /t/319731

爬虫

直播

地址

商品

32 条回复 2016-11-11 09:03:32 +08:00

yidinghe

2016-11-06 13:56:06 +08:00 via Android

666666

Joan

2016-11-06 14:08:21 +08:00

666666

laoyuan

2016-11-06 14:16:29 +08:00

第一次提交代码，是去年写的爬虫
https://github.com/laoyuan/wanggoumiji

laoyuan

2016-11-06 15:54:44 +08:00

已经发现了一种模式，会场页
<div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

例： https://pages.tmall.com/wow/act/16495/industry_1179

laoyuan

2016-11-06 16:01:43 +08:00

又发现一种模式
data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-cOnfig="

例： https://pages.tmall.com/wow/act/16495/industry_309

qcloud

2016-11-06 16:23:33 +08:00

正在看直播， 2333 ，找半天找不到你这个帖子，刚才看你发帖子，本想你刚发，我就来评论的，结果到现在才找到这个帖子。

m939594960

2016-11-06 18:37:27 +08:00

去年就看你直播来着

a570295535

2016-11-06 22:55:33 +08:00

太卡了，虽然我看不懂，但我鱼丸 19345

laoyuan

2016-11-06 23:00:46 +08:00

@a570295535 好像无线路由器有点问题，我再买个新的。好在今年写的开源了，想用的可以直接看代码。

今天就播到这里了，明天把 pyspider 部署到生产环境开始跑，然后写个网站把抓到的秒杀商品列出来方便大家看。

Dirlllee

2016-11-07 19:28:15 +08:00 via iPhone

用哪些工具

la0wei

2016-11-07 23:42:58 +08:00

错过直播了怎末办

laoyuan

2016-11-07 23:54:19 +08:00

@la0wei 有代码啊，我再提交下

twc731

2016-11-08 10:13:52 +08:00

错过了

twc731

2016-11-08 10:14:28 +08:00

希望大神以后可以录一份录像，能学习一下

laoyuan

2016-11-08 10:46:53 +08:00

有代码看啥录像啊。爬虫跑了一晚上数据是这样的：
双十一总共 400 个会场页面，涉及 5700 家店、 12000 件商品，其中秒杀商品大概有 500 到 1000 件，我打算直接跑商品页面来识别秒杀，不在会场识别模式了。

RobertYang

2016-11-08 15:34:53 +08:00 via Android

无话可说只有 6666

Vizogood

2016-11-09 07:44:19 +08:00 via Android

我只能送你 6666 辛亏没去阿里 233

ixinshang

2016-11-10 01:05:43 +08:00

牛逼

kang000feng

2016-11-10 01:41:44 +08:00

@laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!

laoyuan

2016-11-10 08:39:36 +08:00

@kang000feng 看看今天能挂出来吧，就一个列表页面应该可以

mclxly

2016-11-10 08:45:05 +08:00

坐等列表页面

freep2p

2016-11-10 10:39:46 +08:00

去年用楼主提供的商品列表秒了好几样。

whatufo

2016-11-10 12:41:51 +08:00

坐等列表页面

guinguo

2016-11-10 13:10:10 +08:00

去年在 up 主给的链接中抢到了几瓶啤酒跟一罐蜂蜜，蜂蜜现在还没喝完 233

sorcerer

2016-11-10 16:14:13 +08:00 via iPhone

马上要下班了是时候放出列表了哈楼主

dreammes

2016-11-10 17:59:12 +08:00

楼主来吧，都等着咯

laoyuan

2016-11-10 20:12:00 +08:00

刚开始抓商品页，不会放大家鸽子的！

WDD

2016-11-10 22:06:49 +08:00 via iPhone

@guinguo 好厉害，请问你是在手机上抢的吗？去年我在电脑抢毛都没抢到

guinguo

2016-11-10 22:44:38 +08:00

@WDD 电脑，不要抢那种很少的，然后动作要快，姿势要帅 ^_^

fleer

2016-11-11 08:09:08 +08:00 via Android

蹲坑等。

laoyuan

2016-11-11 08:36:10 +08:00

@fleer 真的是掉大坑里了，本来打算从商品页识别秒杀，结果发现可以抓到开售时间，但价格只能抓到一个普通的价格，抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。

laoyuan

2016-11-11 09:03:32 +08:00

已开帖 /t/319731