代码仓库分析

typesafe-computer-use

用 OCR 和界面状态构造候选动作,让 Jev 决定如何操作 macOS,需要写文字时再调用文本模型。

E2 · 资料已核对已检查公开资料或源码证据;仅有固定提交链接并经对应源码核对,才可称固定版本核验。不代表本站运行过、认可性能或保证安全。
Stars
937
Forks
75
协议
MIT
最近提交
2026-09-23

Jev 在这里做什么

从确定性提取的控件与动作中选择下一步,执行器操作桌面。

把屏幕读取、动作选择与文本生成分开。

README 的成本与速度对照来自作者限定截图与目标的测量,且部分推理由确定性代码补足;不能推广为通用降本倍数。

这个项目适合解决什么任务?

用 OCR 与辅助功能候选探索 macOS 操作,并把写文字交给独立模型。

资料分析日期:

从输入到动作

  1. 代码截屏,合并 OCR 和辅助功能项,再加入确定性控制选项。
  2. Jev 选择动作类别、站点,以及需要时的屏内或屏外目标。
  3. 文字由 writer 生成,另一次 Noul 检查输入后的字段值。

实现中值得检查的地方

把握度跟随实际动作依赖

对有目标的动作,Decision.confidence 取动作和目标 confidence 的较小值;不相关答案不会降低其他动作的把握度。

查看对应来源 ↗

dry-run 边界影响实际行为

README 将单步建议与驱动机器的 --act 分开。低把握度和连续无变化是停止条件,不能据此断言所有危险动作均被阻止。

查看对应来源 ↗

选择建议

适合同时需要 OCR 和辅助功能信息的原生屏幕。面对 DOM 丰富的网站,先比较浏览器专用观察器,再接受截屏和焦点切换成本。

如何自行检查

阅读 decide.py 的 Decision.confidence 与 verify_typed:对点击比较两个把握度,对输入追踪额外 ok Noul;尝试前先核对 README 的 dry-run 与 --act 区别。

结论的适用边界

  • 本站未复现 README 的成本倍数。
  • 没有执行点击、输入或录屏。
本次分析的原始资料