把握度跟随实际动作依赖
对有目标的动作,Decision.confidence 取动作和目标 confidence 的较小值;不相关答案不会降低其他动作的把握度。
查看对应来源 ↗用 OCR 和界面状态构造候选动作,让 Jev 决定如何操作 macOS,需要写文字时再调用文本模型。
从确定性提取的控件与动作中选择下一步,执行器操作桌面。
把屏幕读取、动作选择与文本生成分开。
README 的成本与速度对照来自作者限定截图与目标的测量,且部分推理由确定性代码补足;不能推广为通用降本倍数。
用 OCR 与辅助功能候选探索 macOS 操作,并把写文字交给独立模型。
资料分析日期:
对有目标的动作,Decision.confidence 取动作和目标 confidence 的较小值;不相关答案不会降低其他动作的把握度。
查看对应来源 ↗README 将单步建议与驱动机器的 --act 分开。低把握度和连续无变化是停止条件,不能据此断言所有危险动作均被阻止。
查看对应来源 ↗适合同时需要 OCR 和辅助功能信息的原生屏幕。面对 DOM 丰富的网站,先比较浏览器专用观察器,再接受截屏和焦点切换成本。
阅读 decide.py 的 Decision.confidence 与 verify_typed:对点击比较两个把握度,对输入追踪额外 ok Noul;尝试前先核对 README 的 dry-run 与 --act 区别。