推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2321 天前的主题，其中的信息可能已经有所发展或是发生改变。
##我想了想，没想出来，
#比如：
调用 flask-api 接收参数，参数有 name：张三，age：30，sex：男。 爬虫程序 scrapy 需要拼接这些参数去完成 url 请求，返回 json，或者入库 思考下： 1.flask 怎么传递这些参数给 scrapy,scrapy 又怎么被 flask 所运行。 2.项目部署该怎么部署，是部署 flask-api 还是部署 scrapy ？ 3.flask 和 scrapy 如何交互 4.有没有什么好的办法，把 scrapy 爬虫变成一个 api 接口，方便调用的那种 各位大佬，尽情的发表意见，小弟在线等 --来自 python 小白的呐喊  | 1 djj510620510 2019-06-06 10:10:18 +08:00 用 redis 或者数据库呗 |
 | 2 chengxiao 2019-06-06 10:15:37 +08:00 Scrapyd 了解下 剩下的就是调接口 |
 | 3 midasplus 2019-06-06 10:22:32 +08:00 关键词: scrapyd python-scrapyd-api |
| 4 midasplus 2019-06-06 10:24:57 +08:00 |
 | 5 IanPeverell 2019-06-06 10:32:09 +08:00 flask 把 url 存进一个 json 文件，然后用 scrapy.crawl 的 CrawlRunner 调爬虫，爬虫通过读 json 来读 url，爬出来的数据直接入库，flask 通过查增量来获取爬去的新数据。这样的话，只需要起一个 flask，然后爬虫跑在 flask 的进程中，通过 json 文件传 url |
 | 6 wwb721 2020-03-23 23:16:34 +08:00 可以看看 scrapyrt |
Select Language