推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2513 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如我有一个爬虫，会下载很多新闻页面的原始 html。我目前是把他们保存在 mongodb 里了。但是当我要重新解析这些 html 文件的内容时，我用下述代码来执行解析时，发现从 mongodb 读取成为了瓶颈。每次只能返回 100-200 个 item，之后就要等个几秒再返回下一波。
for i in db.collection.find({}):
parse(i['html'])
我想知道有什么系统，可以方便的存储这些小文件（一般都小于 1MB ），而又能提供较高的批量读取吞吐量。
非常感谢。
for i in db.collection.find({}):
parse(i['html'])
我想知道有什么系统，可以方便的存储这些小文件（一般都小于 1MB ），而又能提供较高的批量读取吞吐量。
非常感谢。
 | 1 mingtiny11 2019 年 3 月 6 日 随便啥 blob store 都可以呀 |
 | 2 ShangAliyun 2019 年 3 月 6 日 为啥不选择对象存储？ |
 | 3 lihongjie0209 2019 年 3 月 6 日 你这么写当然会卡了， 所有的时间话费在数据库 IO 上了， 用多线程 |
 | 4 OP @lihongjie0209 我知道时间都是在 io 上的。问题在于，mongodb 返回数据太慢了。因为我把文件内容作为 json 的一个字段进行存储的。我要解决的就是如何更有效的存储，以便能快速大批量读取。 |
| 5 melonux OP @mingtiny11 您指的 blob store 是什么？ mysql 的 blob 字段吗？ |
| 6 melonux OP @ShangAliyun 对象存储指的是什么？ |
| 7 mingtiny11 2019 年 3 月 6 日 @melonux 对象存储呀。 |
| 8 mingtiny11 2019 年 3 月 6 日 @melonux 各大云厂商的对象存储了解下 |
| 9 melonux OP @mingtiny11 谢谢，我学习一下 |
| 10 lihongjie0209 2019 年 3 月 6 日 @melonux IO 慢你就多线程啊，mogo 不至于就给一个线程就卡死了 |
| 11 ShangAliyun 2019 年 3 月 6 日 @melonux 阿里云的叫 OSS，腾讯云的叫 COS，本质都是 Object Storage |
| 12 melonux OP @ShangAliyun 3Q，我刚看了阿里云的 OSS。存储好便宜啊，而且通过 ECS 访问还不收流量费。我明天试试看这个的读取速度有多快。 |
| 13 melonux OP @lihongjie0209 好的。我也去试试多线程的读 mongodb。 |
 | 14 sunnyadamm 2019 年 3 月 6 日 via Android 楼上正解，我就不多说了 |
 | 15 billlee 2019 年 3 月 6 日 太小的文件也不适合对象存储吧，印象中腾讯云 object storage 的分块大小是 1MB. 如果访问的 pattern 允许，还是应该把小文件打包成大一点的 |
 | 16 julyclyde 2019 年 3 月 7 日 早几年大家都是套 XML 现在改 JSON 了 |
| 17 mingtiny11 2019 年 3 月 7 日 @billlee 一般 object 存储底层都是把小文件拼成大文件的，不然怎么高性能。 |
Select Language