iamvatsalpatel · Routing & Cost Optimization
基于 YAML 声明策略的模型分级路由工具,在约 180 毫秒内通过 Jev 将请求路由到满足要求的最低成本模型。
无需微调训练数据,利用纯文本 YAML 规则由 Jev 对请求进行离散分类判断,命中阈值即向下分流。
支持 TypeScript 与 Python 双语言生态,极低决策延迟,帮助团队透明化控制大模型调用成本。
源码已核验。包含门禁实验脚本与双语言实现;实际端到端耗时与网络延迟及各服务商接口波动相关。