seoguess 最近的时间轴更新 seoguess 最近的时间轴更新 | seoguessV2EX 第 115056 号会员，加入于 2015-05-04 13:59:19 +08:00 |
| 求一份 MongoDB 安全配置 程序员 seoguess 2019-05-14 22:57:49 PM 最后回复来自 seoguess | 9 |
| Python 爬虫多线程问题咨询 Python seoguess 2019-04-26 23:13:06 PM 最后回复来自 seoguess | 14 |
| win10 更新时断电，无法开机了怎么办？ 问与答 seoguess 2016-07-13 23:26:50 PM 最后回复来自 fetich | 9 |
| 初学 CSS， PSD 转网页时发现 IE 下错位.... 程序员 seoguess 2016-07-13 13:08:15 PM 最后回复来自 wilddog | 25 |
| 关于 flask 处理数据的问题 Python seoguess 2016-06-17 11:18:23 AM 最后回复来自 seoguess | 15 |
| ubuntu 下 home 目录占用空间过大，应该怎么处理？ Linux seoguess 2016-05-17 11:26:50 AM 最后回复来自 seoguess | 16 |
seoguess 最近回复了
2019-05-14 23:00:15 +08:00 回复了 zhuwd 创建的主题 程序员 三线小城的程序员如何实现财务自由？ |
@JohnLou 很多人只是冲着一个希望去的，只要有人忽悠，就会有人相信。嗯，论韭菜的个人修养。
2019-05-14 22:58:47 +08:00 回复了 zhuwd 创建的主题 程序员 三线小城的程序员如何实现财务自由？ |
@GrayLand119 人才
2019-05-14 22:57:49 +08:00 回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置 |
@nicolas0caser 收到，谢谢你！
2019-05-13 23:51:54 +08:00 回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置 |
@WordTian 原来如此，我理解错用法了。非常感谢！
2019-05-13 12:15:35 +08:00 回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置 |
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.*.*.*
mongod.conf 启动时候没报错，但是就是不生效。
port: 27233
bindIp: 127.0.0.1,localhost,154.*.*.*
mongod.conf 启动时候没报错，但是就是不生效。
2019-05-13 12:14:34 +08:00 回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置 |
@nicolas0caser 你好，bindip 设置请教一下。
2019-05-13 11:50:22 +08:00 回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置 |
@WordTian 你好，请问设置过 bindip 同时绑定 locahost 跟外网本地 ip 吗？
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***
我设置成这个的时候，所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip，就只能本地连接数据库了。
服务器上 netstat -a |grep :27233 显示如下：
tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED
请问我的设置哪里出现了问题？搞了一整天了没找到资料。或者我干脆放弃 bindip，从 iptables 下手可行？谢谢！
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***
我设置成这个的时候，所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip，就只能本地连接数据库了。
服务器上 netstat -a |grep :27233 显示如下：
tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED
请问我的设置哪里出现了问题？搞了一整天了没找到资料。或者我干脆放弃 bindip，从 iptables 下手可行？谢谢！
2019-04-26 23:13:06 +08:00 回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询 |
原来 max_worker 为空的情况下，默认线程为 cpu 核数量*5，难怪花了 300+秒。
2019-04-26 22:56:20 +08:00 回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询 |
2019-04-26 10:16:22 +08:00 回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询 |
@scriptB0y 我用 concurrent 模块重新修改了下代码，发现效率比我之前的代码差了好多....
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)
time.sleep(3)
3K 左右的链接，用时 382 秒
for 循环: #获取 cookie:
threads = []
for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)
for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时，有僵尸进程存在
t.start()
for hotelid in threads:
t.join()
time.sleep(3)
用时：52 秒
请问为啥效率可以差别这么大？
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)
time.sleep(3)
3K 左右的链接，用时 382 秒
for 循环: #获取 cookie:
threads = []
for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)
for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时，有僵尸进程存在
t.start()
for hotelid in threads:
t.join()
time.sleep(3)
用时：52 秒
请问为啥效率可以差别这么大？
Select Language