没事撸了一个百度网盘资源站

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 3321 天前的主题，其中的信息可能已经有所发展或是发生改变。

网址[www.vgeili.cn]:http://www.vgeili.cn

第 1 条附言 2016-09-08 16:16:54 +08:00

目前索引了 600 多万的数据，每天以十万多的数据增长。帮助大家帮助自己

第 2 条附言 2016-09-12 18:00:42 +08:00

修改若干个 bug

第 3 条附言 2016-09-20 23:18:29 +08:00

手机端 http://m.vgeili.cn

第 4 条附言 2016-09-28 19:49:02 +08:00

号外号外！！！

@@@目前已经采集 25890798 个资源
#### 微给力给悟空遥控器 APP 中的百度云提供数据支持
#### 有合作需求的 Q 229----889-----141

网盘

网址

没事

百度

96 条回复 2016-09-28 19:44:23 +08:00

imn1

2016-09-08 15:41:13 +08:00

只搜文件？应该目录也可搜，一些剧集是整个文件夹分享的

zhangyueru

2016-09-08 15:47:04 +08:00

目前是文件，之后完善一下

zhangyueru

2016-09-08 15:50:29 +08:00

有问题基友们欢迎拍砖

pie

2016-09-08 15:52:27 +08:00

举例：
搜《 dycc5 》，三个结果，进去文件夹，都已经没了。度妹下手真快。
---------------
老兄自己做的啊？

zhangyueru

2016-09-08 15:55:34 +08:00

是的。现在百度抓版权很猛的两三天就失效

helloworld2010

2016-09-08 16:17:56 +08:00

buckyRRRR

2016-09-08 16:17:59 +08:00 via iPhone

能过滤掉失效的资源吗

helloworld2010

2016-09-08 16:19:25 +08:00

请问下，是调用百度 sdk 的接口吗？要付费么？

sigone

2016-09-08 16:21:44 +08:00 via Android

移动版不给力，楼主优化一下移动版

xp0729

2016-09-08 16:21:58 +08:00

有好多都失效了，还想问一下那种加密的也能搜到吗

zhangyueru

2016-09-08 16:35:44 +08:00

@buckyRRRR 下个版本会考虑

zhangyueru

2016-09-08 16:36:00 +08:00

@xp0729 加密的搜索不到

zhangyueru

2016-09-08 16:36:39 +08:00

@sigone 移动版会出来，主要看一下大家的需求大吗

zhangyueru

2016-09-08 16:37:05 +08:00

@helloworld2010 不是 sdk 爬的

yunji3344

2016-09-08 16:50:17 +08:00

http://www.7tdy.cc 推荐一个

justina25

2016-09-08 17:10:21 +08:00

赞楼主。。想了解下怎么实现的。

scola

2016-09-08 17:14:24 +08:00 via Android

CuminLo

2016-09-08 17:16:06 +08:00

确实不错。
思考一下楼主咋用的。

zhangyueru

2016-09-08 17:47:08 +08:00

目前程序太乱抽机会分享一下

fyibmsd

2016-09-08 18:16:32 +08:00

开源吗

Baymaxbowen

2016-09-08 18:30:54 +08:00 via Android

帮楼主分享给身边的老司机了，很赞，

RangerWolf

2016-09-08 18:55:19 +08:00

有 github 吗？赞一个

55555

2016-09-08 18:55:19 +08:00

已分享

itfanr

2016-09-08 18:57:58 +08:00

好东西！

zhangyueru

2016-09-08 21:05:50 +08:00

@Baymaxbowen @55555 感谢分享谢谢

darluc

2016-09-08 21:07:48 +08:00

designer

2016-09-08 21:14:40 +08:00

很棒支持一下。

zhangyueru

2016-09-08 21:19:00 +08:00

@designer 谢谢

Cannikin

2016-09-08 21:25:59 +08:00

很棒！支持~

got

2016-09-08 21:26:48 +08:00

收藏了

zhangyueru

2016-09-08 21:29:02 +08:00

@Cannikin @got 谢谢帮忙多宣传一下

Midnight

2016-09-08 21:43:23 +08:00

好东西，收藏了

mingyun

2016-09-08 22:04:40 +08:00

好东西，我一搜周星驰就有星爷电影全集

Donald5VE

2016-09-08 22:34:18 +08:00 via iPad

赞！

zhangyueru

2016-09-08 23:16:40 +08:00

@Midnight @Donald5VE 谢谢

elevenily

2016-09-09 08:45:21 +08:00

好赞啊!!收藏了!!!

RockShake

2016-09-09 09:00:58 +08:00

增加检查失效资源功能就更棒了

kobe1941

2016-09-09 09:12:06 +08:00

楼主好人哇，终于找到新三国的资源了，泪奔。。

zhangyueru

2016-09-09 09:24:23 +08:00

@elevenily 谢谢支持，大家的支持是我坚持的动力

hqdmy

2016-09-09 09:24:47 +08:00

不行啊
m list
Traceback (most recent call last):
File "/usr/local/bin/tm", line 5, in <module>
from pkg_resources import load_entry_point
File "/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/pkg_resources.py", line 2793, in <module>
working_set.require(__requires__)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/pkg_resources.py", line 673, in require
needed = self.resolve(parse_requirements(requirements))
File "/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/pkg_resources.py", line 576, in resolve
raise DistributionNotFound(req)
pkg_resources.DistributionNotFound: click

zhangyueru

2016-09-09 09:24:54 +08:00

@RockShake 这个功能已经记下来了

spreadwing

2016-09-09 09:25:33 +08:00

Very good ！

hqdmy

2016-09-09 09:25:38 +08:00

@hqdmy 忽略我,我错了

zhangyueru

2016-09-09 09:25:54 +08:00

@hqdmy 请具体的描述一下问题谢谢

zhangyueru

2016-09-09 09:31:38 +08:00

@hqdmy 好的任何问题都可以提出来

talen666

2016-09-09 09:46:20 +08:00

发现一个小问题。。直接点击搜索报错参数错误

zhangyueru

2016-09-09 09:56:37 +08:00

@talen666 谢谢记下来了。

glchaos

2016-09-09 10:35:57 +08:00

牛，收藏了，向你学习

chuhemiao

2016-09-09 10:36:33 +08:00

能 rss 吗

zhangyueru

2016-09-09 10:57:16 +08:00

@chuhemiao 好了之后再这里公布

isb

2016-09-09 11:04:04 +08:00

panc.cc 推荐一下。。

TheOtherBruce

2016-09-09 11:12:46 +08:00

好多资源都设了密码

RockShake

2016-09-09 11:21:45 +08:00

密码搜不到也是枉然。。。

bsfx2

2016-09-09 11:23:07 +08:00

可以增加分享人的搜索方式吗（

itisthecon

2016-09-09 11:32:52 +08:00

很给力!速度飞快, 资源也很丰富

zhangyueru

2016-09-09 11:38:33 +08:00

@Satelli 你为什么有这样的需求?可以说说吗

zhangyueru

2016-09-09 11:38:54 +08:00

@itisthecon 谢谢

byron

2016-09-09 11:55:28 +08:00

建议想办法过滤掉不可用的链接。
会友好很多

zhangyueru

2016-09-09 11:55:53 +08:00

@TheOtherBruce @RockShake 密码问题不好解决。消耗资源太大

zhangyueru

2016-09-09 11:56:13 +08:00

@byron 好的谢谢

bsfx2

2016-09-09 11:57:34 +08:00

@zhangyueru 比如一套资源，分享者分成几部分分享的，或者希望看看这个人分享的其他资源的时候，希望能直接以分享者为条件来搜索。现在是手动拷贝 uk 号然后替换到 https://pan.baidu.com/share/home?uk=XXXXXXXXX 里。谢谢 :)

bjlbeyond

2016-09-09 13:28:46 +08:00

正好用上了

hanyouchun66

2016-09-09 13:32:53 +08:00

@zhangyueru 请问楼主.网站用的搜索技术是什么?600 多万的数据.很快就能搜到.

hanyouchun66

2016-09-09 13:33:46 +08:00

@zhangyueru 还是文本框下面的关键词提示.请问这个搜索方法用的是 es 吗?

Gauin

2016-09-09 13:56:11 +08:00

赞一个！资源不少呢

zhangyueru

2016-09-09 14:13:52 +08:00

@Satelli 这个可以的，谢谢你的提议

zhangyueru

2016-09-09 14:16:28 +08:00

下拉框 http://www.vgeili.cn/js/opensug.js 用的是这个 js 百度的源 @hanyouchun66

搜索用的是 coreseek 全文索引

dgkae

2016-09-09 14:48:53 +08:00

这个数据怎么爬的？

zhangyueru

2016-09-09 15:12:09 +08:00

@dgkae 用 scrapy 爬虫框架

ranwu

2016-09-09 15:22:39 +08:00

用的什么搜索引擎？

ranwu

2016-09-09 15:25:00 +08:00

额，没看到作者的回复，不好意思。

ranwu

2016-09-09 15:29:02 +08:00

分页按钮最好有个选中状态，要不然不知道在哪一页。

zhangyueru

2016-09-09 16:15:53 +08:00

@ranwu 好的， coreseek 搜索

enlau0912

2016-09-09 17:53:00 +08:00

好用支持主

testisitok

2016-09-09 18:25:8 +08:00

http://www.vgeili.cn/s/w/mathtype

搜了一下 MathType ，全部死链

zhangyueru

2016-09-09 21:54:43 +08:00

确实 MathType 这个不好说。只能靠量补缺这块了

sydfish

2016-09-09 23:35:25 +08:00

搜索速度不错，但是确实友好度的问题，有点难解决。死链偏多。

zhangyueru

2016-09-10 00:21:43 +08:00

@sydfish 这个问题已经意识到。如果这个网站能帮助大家一点点我就很高兴了

sydfish

2016-09-10 02:16:32 +08:00

撸主是做搜索引擎的？

testisitok

2016-09-10 07:25:09 +08:00 via Android

@zhangyueru 可以采集时逻辑判断一下死链，排除掉。

已经入库的，在凌晨时分定期排查

2232588429

2016-09-10 07:40:09 +08:00 via iPhone

感觉和 site 搜索没啥区别啊，进去很多资源都是无效的，如果能判断筛选掉失效资源这个网站才有些优势。

exuxu

2016-09-10 09:29:45 +08:00 via iPhone

panc.cc 的忠实用户路过

cheneydog

2016-09-10 09:32:06 +08:00

分享资源都改名了，所以网盘搜索没啥用。

aeshfawre

2016-09-10 10:23:09 +08:00

楼主威武，顶一个。
话说楼主，你的采集思路是不是强行遍历呢？
请点拨下。

aeshfawre

2016-09-10 10:24:39 +08:00

遍历的话就 10 亿个链接，行得通，就问一下，对，还是错。

xjbeta

2016-09-10 16:42:02 +08:00

作死即视感。。(虽然我自己也在作)

HaoC12

2016-09-10 16:55:04 +08:00

赞一个

zhangyueru

2016-09-16 21:24:13 +08:00

告诉大家一个好消息已采集 1100 多万的数据了

wanshanju

2016-09-18 11:24:04 +08:00

赞！

wanshanju

2016-09-18 11:27:22 +08:00

建议适配下手机浏览器。

clandyuki

2016-09-18 17:04:14 +08:00

@zhangyueru 站点挂了

zhangyueru

2016-09-20 16:43:56 +08:00

@clandyuki 好了，昨天确实有点不稳定，服务器空间不是太够了。在升级存储空间

zhangyueru

2016-09-20 23:18:02 +08:00

@wanshanju 手机端已经弄好。欢迎使用 http://m.vgeili.cn

itfanr

2016-09-22 16:12:42 +08:00

我们不生产资源,我们只是百度网盘资源的搬运工!

aosp

2016-09-24 19:29:15 +08:00

楼主可否分享一下百度盘是怎么抓的？我见有时候访问 getsharelist 太频繁，会返回空或 too fast 。谢谢

zhangyueru

2016-09-28 19:44:23 +08:00

去网上找点代理 ip 。或者花钱买点