代码仓库分析

jev-toolspace

研究 Jev 如何构建任务级工具菜单的仓库,使用受控 TGB 与 BFCL 协议评估相关性判断。

E2 · 资料已核对已检查公开资料或源码证据;仅有固定提交链接并经对应源码核对,才可称固定版本核验。不代表本站运行过、认可性能或保证安全。
Stars
1
Forks
0
协议
—
最近提交
2026-09-23

Jev 在这里做什么

独立 Noul 按共享任务证据评估各工具,本地聚合与 top-K 规则产生供下游评估的菜单遮罩。

将相关性评分与下游工具任务成功分开,并按模型、状态、问题身份复用缓存。

2026-10-24 核对固定版本的说明与实现材料。本站未运行 GPU 基准或在线评分。公开结果和历史服务限制未被重新验证为当前平台保证。

这个项目适合解决什么任务?

评估任务级工具菜单,而不是让 Jev 执行工具。

资料分析日期:

从输入到动作

  1. 基准轨迹或对话定义相关性状态。
  2. 每个工具独立回答 Noul,代码聚合分数并分配 top-K 文档预算。
  3. TGB/BFCL 评估器测量相应菜单遮罩下的下游行为。

实现中值得检查的地方

独立相关性不是互斥选择

一个工具 Noul 得分高不要求另一个降低;真正菜单数量限制来自本地 top-K 策略。

查看对应来源 ↗

缓存键包含问题

client.py 对模型、状态和问题计算哈希以复用相同请求;改提示会改键,mock 则是确定性模拟,不是模型评估。

查看对应来源 ↗

选择建议

适合受控工具菜单研究。保留构建/测试划分并比较下游任务表现,相关性高本身不能证明完成任务。

如何自行检查

阅读 README 协议与 client.py 的 _key/ask,确认改问题会改变缓存身份,且 JEV_MOCK 记录 model=MOCK 而非真实用量。

结论的适用边界

  • 本站未运行 GPU 基准或在线评分。
  • 公开结果和历史服务限制未被重新验证为当前平台保证。
本次分析的原始资料