这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 3221 天前的主题，其中的信息可能已经有所发展或是发生改变。
想到的可以爬到的内容有 git 仓库信息、会员信息。
今天突发奇想，想分析各种库的引用情况。
今天突发奇想，想分析各种库的引用情况。
 | 3 DoraJDJ 2016-12-16 17:48:48 +08:00 via Android 直接用 GitHub 的 API 不行吗？ |
 | 4 bazingaterry 2016-12-16 17:53:22 +08:00 via iPhone 自己爬自己，噢，无限递归 |
 | 5 upczww 2016-12-16 17:55:31 +08:00 via Android 有 api |
 | 8 lucifer4he 2016-12-16 18:50:01 +08:00 多注册几个账号。多用几个 token 问题解决 啊哈哈 总比爬起来解析数据好受点 |
 | 9 gdsagdada 2016-12-16 19:06:50 +08:00 不道德， github 现在还在亏损，楼主给它省点带宽 |
 | 10 Mdrights 2016-12-16 19:48:35 +08:00 via iPhone 已有 Telegram 的 bot 了 |
 | 11 nsa 2016-12-16 21:37:33 +08:00 via iPhone 可以先用 ghtorrent 的练 |
 | 12 imcj OP @lucifer4he 从我个人的需求上的确是解决问题了。我觉得弄一个开放的 GITHUB 数据库这件事听起来不错。 @gdsagdada 爬取目标网站数据这件事情不算不道德，算的话，那 google 怎么说？ Github 亏损这件事情，我觉得从另外一个角度上来看，这是他们赢取资本的策略。 @nsa 感谢推荐。 |
 | 13 qdk0901 2016-12-19 08:56:22 +08:00  1 不好爬，我之前写过一个，挂 vps 上爬了一个月，用 tor 不停切换出口 ip 来绕过限制，只爬了 300 多万用户 /仓库的信息，也不是全部信息，只有一部分，比如只有用户 /仓库前几页的 following/followers/stars 等信息。 这东西还是放弃吧，最终也没什么卵用 |
| 14 qdk0901 2016-12-19 08:59:57 +08:00 |
 | 15 holajamc 2016-12-19 09:20:48 +08:00 1 做过一个，嗯目前已经改成了毕设项目…… HolaJam/github_relationship |
| 17 holajamc 2016-12-20 16:33:45 +08:00 就是我也在做关羽 github 的一个程序 描述 github 用户之间的关系，用户和 repo 的关系 |
| 19 holajamc 2016-12-21 11:01:14 +08:00 @imcj github 可以看到项目地址……为了给 github 省带宽就没有写多线程~目前只是做了用户关系，做好了 Neo4j 版本和 MariaDB 版本， MongoDB 正在做，然后就是 repo 的接口也是写好了的包括自己的 repo ， star 的 repo 和 fork 的 repo |
 | 25 Codewj 2016-12-22 14:50:41 +08:00 via iPhone 楼主的项目进行的怎么样了 |
 | 29 gaocegege 2016-12-26 14:21:39 +08:00 https://github.com/gaocegege/scala-github-relationship 之前无聊的时候有做过类似的，一开始单机多线程类似事件驱动来爬的， API rate limit 很成问题，后来只能用单线程同步来做。 对于 limit 的问题，比较好的解决方案是用多几个帐号，用 token ，好像用的好的话 20 多个帐号就可以爬全站。 |
Select Language