不管你用过 vim 没,vimium 应该体验过
搞的一个实验性玩意,目前只需要 300 行 python 代码,能粗浅地识别屏幕上任意位置的“物件”,并用键盘去点击它们
现在就只是简单地用了 opencv 的 MSER 算法
使用视觉的优势有:
也已经有其他的能够在 Mac/Windows 上通过某些 API 找到按钮的项目(在 readme 里列出了)
虽然这种类型的软件里,好像只有浏览器上的 Vimium 成功了。其他的者还算在实验状态
若能把 AI 、API 、视觉三者结合,可能会比较好用。目前的演示看起来界面有点杂乱,想像改进后应该会好吧
各位有什么 idea 来 share 一下
![]() | 1 garywill OP ![]() |
![]() | 2 SWALLOWW 2023-05-22 09:44:59 +08:00 挺好的 |
![]() | 3 expkzb 2023-05-22 10:06:46 +08:00 ![]() 会不会在辅助残疾人的功能里已经有类似的实现了 |
![]() | 4 7gugu 2023-05-22 10:41:25 +08:00 图有点小,看不清楚具体的作用 |
![]() | 9 zhangdszq 2023-05-22 11:46:11 +08:00 这个已经有了哈 t/648227#reply23 |
![]() | 10 PRStarDust 2023-05-22 12:44:47 +08:00 之前用过一些全桌面的,要么速度不够快,要么就是准确度不够,经常有些按钮识别不出来或者错位 |
![]() | 11 PRStarDust 2023-05-22 12:44:59 +08:00 先 star 一波 |
![]() | 12 zagfai 2023-05-22 14:41:09 +08:00 我也有过这个想法,哈哈哈 |
13 iX8NEGGn 2023-05-22 16:43:48 +08:00 via iPhone 哈哈,我也有过这想法,但界面一复杂后,一是识别正确率问题,二是就算识别正确也眼花潦乱,后来还是采用了 “眼动仪+ autohotkey + AI 修正” 来抛弃鼠标 |
![]() | 14 anjiannian 2023-05-22 16:52:42 +08:00 via Android 这个之前 vimperator 和 tridactyl 都有实现,他们用的是字母或者拼音的检索,不用二次确认选中的元素是 DE 还是 DF ,比如需要选择 vimium ,可以<leader>+f 之后直接敲 vim ,多个可以继续敲 ium 筛选 |
15 remenberl 2023-05-22 18:56:00 +08:00 via Android mac 上有 vimac 和 homerow.app 两者是一个作者 |
![]() | 17 20015jjw 2023-05-22 19:40:16 +08:00 via iPhone nice |
![]() | 18 hackpro 2023-05-23 01:30:24 +08:00 via iPhone @garywill #1 这个是 chrome extension 吗 是 python runas backgroud service 还是怎么用啊 |