Python parallel-ssh 这个库实现 os.walk 怎么做有人知道吗?

@ysc3839 要这么暴力吗?

@chenqh os.walk 不也是这样吗？

@ysc3839 os.walk 可以通过 os.list_dir 然后 os.path.stat 判断 dir 来做啊

@chenqh 啥意思？

@ysc3839 os.walk 其实可以通过 os.listdir, 然后获取 stat 来做

这个 ssh 库只支持 scp 和 sftp 的 copy 文件操作，其他都没实现。
所以，没有什么好办法去做这事。

1 楼说的就是很优的解了，不过也得考虑目标机器没有 find 命令的情况----好比对面是个 busybox……

你还是老老实实的解析 ls 吧，这个基本没啥问题。

@chenqh 你的意思是要拿到路径的同时拿到 stat ？那可以再调用 stat 命令，或者根据需求调整 find 的参数提前过滤

@Shazoo 解析 ls 也是可以的方案，印象中 SSH 的 SCP 协议列举文件就是解析 ls 等命令输出的。

@Shazoo 痛苦

@ysc3839 我想要他提供 API 来搞,去掉 issue 试试

呃, 如果远程 tree 之类的命令 > 到一个文件然后把文件拉下来咋样(或者直接从 ssh 传回来)... 平时很少折腾这种事, 这库没用过, 类似 fabric ansible 的么

@ClericPy 我用 paramiko 写了一版,能走通,但是太慢了,遍历一遍所有文件夹大概要 36-40s

@chenqh 所以还是换思路吧... 不知道原始需求没法替你着急了, 加油哈哈

@ClericPy 原始需求就是我有一个 virtualbox,我要通过 sftp 里面把一些文件夹自动下载到 windows 下面,同步到最新状态,

自动下载到 windows 的作用,我有另外一 py 脚本来做备份,这就是我的需求

@chenqh 所以这本身不是一个同步软件该干的事么, 为啥要自己写... 自己搞增量同步远不如现成的软件啊, 拉个桥接到同网段里, 秒级同步的

@ClericPy 当时没有找到,或者说我不会用

@chenqh 大哥... 我被你带沟里了... VBOX 直接挂个共享目录啊, 我在公司里就这么挂的...

共享目录基本没啥大问题, 编码问题目前没遇到过, 少数奇葩文件提前删了也没事, 唯一不好使的就是如果频繁读写可能有点扛不住(2000QPS 写日志瓶颈了结果只有 100 多 QPS, 查了好久才发现是共享盘性能不行...)

你可以用 inotify+rsync 实现

@ClericPy 大哥,我用的 vagrant 啊,而且 virtualbox 有时候挂不成功啊,我也不知道为什么,所以我就没有挂在那里了,还有我的文件夹不在那个地方啊,我记得 vagrant 好像是默认挂在 /vagrant 这里,但是我的习惯是代码放在 /home/vagrant 下面

@Aumujun 我是实体机是 windows,虚拟机是 linux 这种搞不定的吧 inotify+rsync

@ClericPy 我记起来 vagrant 的 image 是 centos7 的时候,挂不了共享目录

AsyncIO 应该会快很多吧，AsyncSSH 的 issue 里有人提过差不多的问题：

https://github.com/ronf/asyncssh/issues/332#issuecomment-748533577

@chenqh 我就 win 上 VBOX 装了个 manjaro, 似乎好多年前我挂 Ubuntu 不知道啥原因也没挂上过... 这次不知道为啥挂的挺顺利的, win 上随便个目录挂 manjaro 里的 / 上, 忘记改没改权限了, 下班了电脑不在手边, 感觉你好难啊

先尽量处理一下挂载失败的问题吧, 没报错日志啥的么, 还是没勾选自动挂载或者中文目录啥的.

反正我不喜欢 WSL2, 然后 multipass 也没 GUI, 现在 VBOX 用着凑合了, 鼠标手势没法用其他跑 docker 和 VSCODE 啥的还是挺开心的. 可惜本来想 linux 里开 VBOX 的 win10 来着, 结果公司不让用没激活的系统

vagrant 我没用过, 随手 Google 了下还挺多人跟你一样没挂上的...

@LindsayZhou 感觉应该快不了了,我都是用的 listdir_attr 以前 listdir 那种更慢

@ClericPy 挂不上就不管了,我刚刚又发现我程序的问题,现在 12K 文件夹,只要 25S 了, 其实感觉还是网络 IO 了,本地这些文件夹遍历一次只需要 3s 不到

好吧... 别忘了增量同步~

@ClericPy 已经增量同步了,不然的话,现在同步一次要 10 分钟