API 批量不等于 GPU 并行
server.py 逐个服务请求，并为每题单独重放 CUDA graph；多题 API 形状不能证明拥有 Jev 的共享并行执行机制。
查看对应来源 ↗代码仓库分析
jevk5
开放的本地决策模型及 System One 形状 HTTP 服务，支持是非、有限选项与有序评分，通过候选 logits 读出而非生成文字。
E2 · 资料已核对已检查公开资料或源码证据；仅有固定提交链接并经对应源码核对，才可称固定版本核验。不代表本站运行过、认可性能或保证安全。
- Stars
- 64
- Forks
- 5
- 协议
- Apache-2.0
- 最近提交
- 2026-09-23
Jev 在这里做什么
服务验证 Noul、Choice、Score 输入，用已加载模型逐题评分并合并答案；固定版本中请求与逐题 CUDA graph replay 按顺序执行。
适合愿意验证自己硬件、领域与并发需求、同时希望本地处理和熟悉决策 API 的团队。
已核对固定 README 与服务代码。H100 耗时、校准和基准数字来自作者，本站未运行模型；请求形状兼容不证明与托管 Jev 等质或同样并行。
这个项目适合解决什么任务？
在开放本地模型上提供 Jev 形状的有限决策，并检查服务代价。
资料分析日期：
从输入到动作
- 校验 Noul、Choice 或 Score 问题。
- 用已加载模型及读出执行评分。
- 合并每题结果为 /v1/systemone 返回值。
实现中值得检查的地方
校准不能无条件迁移
README 的单一温度来自留出教师题，标准与困难题的校准误差不同；速度与质量不能推及任意硬件和领域。
查看对应来源 ↗选择建议
适合重视本地数据与熟悉接口的需求；应评测自己的题型和并发，不把 H100 延迟直接当应用预算。
如何自行检查
查看 server.py 的问题验证和服务循环，分清一次请求、单题 replay 与端到端耗时。
结论的适用边界
- 本站未运行 GPU 服务或校准实验。
- 速度及 JevBench 相关结果来自作者报告。