推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3408 天前的主题，其中的信息可能已经有所发展或是发生改变。
是这样的，我写了一个爬虫抓取信息存到数据库中，但是这个数据是动态变化的，我需要 24 小时监视。如果发现数据变了，就把这新数据替换掉旧数据。
现在我的代码就只是实现爬取数据并存入到数据库中。
我的更新数据思路就是一直爬，然后把爬到的要插入到数据库的数据（一行）跟数据库目前的某行比较，如果不同，就把旧行删掉，插入新行。
# 思路大概表示 newData = getDataFromWeb() oldData = getDataFromDB() if md5(newData) != md5(oldData): replaceDataInDB(oldData, newData); 难道我要 copy 一份代码再在里面加入更新策略的代码吗？ 95%代码量相同，感觉不符合程序员的价值观啊？
各位的爬虫更新策略是怎么样的呢？
 | 1 NullMan 2016-07-31 15:37:29 +08:00 今天天气真不错呀! |
 | 2 oclock 2016-07-31 16:10:23 +08:00 我没有看懂哪里存在楼主所说的“ copy 一份代码，有 95%的代码相同” 既然是反复爬取，就计划一个 daily cron job ：爬取、与数据库对比、 upsert ，一份代码就足够了 |
 | 6 herozzm 2016-08-01 01:07:19 +08:00 via Android 最近一次存内存，爬到的数据和先和内存比对，在和数据库比对，可以减少数据库压力 |
 | 7 superalsrk 2016-08-01 10:34:16 +08:00 做索引。。然后 replace into? |
 | 8 wuhang89 2016-08-01 22:50:19 +08:00 做个索引啊，两边 hash 比较一下，不一样就认为是更新呗。 |
Select Language