推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1657 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前一个爬虫 1000 多行全写在一个文件里，这个东西已经毫无维护性了，所以，我想重构一下
爬的是 API，但是有蛮多定制功能的
重构的话，我想这个项目应该包含单元测试，有完整的日志记录，解析模块，下载模块，调度器什么的都分开
我看了几个例子，有面向对象做的，也有全部都是函数的，我问问大伙儿有没有比较规范的样本，但是也不要是什么庞然大物，毕竟本身也不是什么大的项目，我也学习学习，谢谢大家了！
 | 1 b29107b 2021-03-30 13:55:00 +08:00 via Android github |
 | 2 learningman 2021-03-30 14:11:16 +08:00 via Android scrpy 的文档 |
| 3 learningman 2021-03-30 14:12:00 +08:00 via Android 调 API 不叫爬虫吧，你可以用 metaclass 弄个 wrapper 出来 |
 | 4 triangle111 2021-03-30 14:18:31 +08:00 mark，做完后看看有没有得白嫖的 |
 | 5 CoCoMcRee 2021-03-30 14:24:10 +08:00 找个 scrpy 教程看下, 基本就是当下主流爬虫的做法了. |
 | 6 hunk 2021-03-30 14:47:36 +08:00 还是自己写吧，现成的框架或多或少都有限制，走了一圈发现，还是自己写。 另外，前一段，单独把抓取这块改成 go 了，用协程爽歪歪。 |
 | 7 ClericPy 2021-03-30 20:47:35 +08:00 这么多人说 scrpy, 看来真不是 scrcpy 和 Scrapy... |
| 9 ClericPy 2021-03-31 20:56:12 +08:00 @hanssx a ... 我当时搜 Github scrpy 还真搜到个以为就是它, 好吧我错了. 这单词用拼音打出来正好是四川人朋友... |
 | 10 HankLu 2021-04-01 21:25:22 +08:00 爬虫写得好，牢饭吃到饱 |
 | 11 ErwinCheung 2021-04-05 19:30:41 +08:00 爬虫写得好，牢饭吃到饱 |
Select Language