Jev 生产可靠性检查清单

1. 给决策契约做版本管理

将模型版本、State Schema、问题 ID、criteria 和阈值策略一起记录。任一部分变化都可能改变行为，并应触发新的评估。

const decisionContract = {
  model: 'typesafe-ai/jev',
  stateSchema: 'support-ticket@3',
  questions: 'routing@5',
  policy: 'confidence-bands@2',
};

2. 区分调用失败与模型不确定

超时、限流、过载和无效响应需要重试或降级；低置信度不是网络错误，而是应该进入明确复核策略的有效信号。

try {
  const result = await callJev({ timeoutMs: 2_000 });
  return applyConfidencePolicy(result);
} catch (error) {
  if (isRetryable(error)) return retryWithBackoff();
  return enqueueHumanReview({ reason: 'provider_failure' });
}

3. 记录足够的可复现信息

保存请求 ID、规范化 State 哈希、问题版本、答案、概率分布、置信度、延迟和最终动作，同时避免泄露敏感原文。

4. 逐步评估和放量

先跑离线标注集，再影子运行生产流量，统计人工覆盖和错误成本，并提供一键停用开关。只有指标满足策略后才扩大自动化。