不管你用过 vim 没,vimium 应该体验过
搞的一个实验性玩意,目前只需要 300 行 python 代码,能粗浅地识别屏幕上任意位置的“物件”,并用键盘去点击它们
现在就只是简单地用了 opencv 的 MSER 算法
使用视觉的优势有:
也已经有其他的能够在 Mac/Windows 上通过某些 API 找到按钮的项目(在 readme 里列出了)
虽然这种类型的软件里,好像只有浏览器上的 Vimium 成功了。其他的者还算在实验状态
若能把 AI 、API 、视觉三者结合,可能会比较好用。目前的演示看起来界面有点杂乱,想像改进后应该会好吧
各位有什么 idea 来 share 一下
1
garywill OP |
2
SWALLOWW 2023-05-22 09:44:59 +08:00
挺好的
|
3
expkzb 2023-05-22 10:06:46 +08:00 1
会不会在辅助残疾人的功能里已经有类似的实现了
|
4
7gugu 2023-05-22 10:41:25 +08:00
图有点小,看不清楚具体的作用
|
9
zhangdszq 2023-05-22 11:46:11 +08:00
|
10
PRStarDust 2023-05-22 12:44:47 +08:00
之前用过一些全桌面的,要么速度不够快,要么就是准确度不够,经常有些按钮识别不出来或者错位
|
11
PRStarDust 2023-05-22 12:44:59 +08:00
先 star 一波
|
12
zagfai 2023-05-22 14:41:09 +08:00
我也有过这个想法,哈哈哈
|
13
iX8NEGGn 2023-05-22 16:43:48 +08:00 via iPhone
哈哈,我也有过这想法,但界面一复杂后,一是识别正确率问题,二是就算识别正确也眼花潦乱,后来还是采用了 “眼动仪+ autohotkey + AI 修正” 来抛弃鼠标
|
14
anjiannian 2023-05-22 16:52:42 +08:00 via Android
这个之前 vimperator 和 tridactyl 都有实现,他们用的是字母或者拼音的检索,不用二次确认选中的元素是 DE 还是 DF ,比如需要选择 vimium ,可以<leader>+f 之后直接敲 vim ,多个可以继续敲 ium 筛选
|
15
remenberl 2023-05-22 18:56:00 +08:00 via Android
mac 上有 vimac 和 homerow.app 两者是一个作者
|
17
20015jjw 2023-05-22 19:40:16 +08:00 via iPhone
nice
|
18
hackpro 2023-05-23 01:30:24 +08:00 via iPhone
@garywill #1 这个是 chrome extension 吗
是 python runas backgroud service 还是怎么用啊😄 |