Jev 置信度阈值与人工复核

动手验证：完整示例与失败路径

下方是完整文件，不需要补写省略函数。示例仅打印建议或转人工状态，不修改工单、不执行支付或发布。

验证范围：锁定依赖的类型/语法检查和模拟传输；未进行真实 API 性能或准确率测试。真实运行需要自己的服务端密钥，可能产生费用。纯校准和输入处理示例不联网。

先定义“对”，再选择阈值

这里的目标是工单队列与独立人工标签一致，不是用户是否点击“采纳”。每条记录保存预测、人工标签、confidence、模型与问题版本。按时间或客户分组切分开发集和留出集，避免同一工单的近重复内容落入两边。

以下数据完全是人工构造的教学样本。coverage=可建议数/全部样本；selective_error=建议中的错误数/建议数。零建议时错误率为未定义，不能报 0% 错误。cost 只是人为设定的错误成本与复核成本之和。

只在开发集扫描阈值，再对留出集评估一次。若失败，应重做输入或问题并准备新的验证轮次，而不是在同一留出集反复调到好看。真实报告还应披露样本数、分组表现与不确定区间。

calibrate.py

"""Synthetic teaching fixture: NOT measured Jev accuracy or a recommended threshold."""

# (model confidence, predicted team, independently assigned correct team)
development = [(0.95, 'technical', 'technical'), (0.89, 'billing', 'technical'),
               (0.8, 'billing', 'billing'), (0.7, 'technical', 'technical'),
               (0.6, 'billing', 'technical'), (0.4, 'human', 'human')]
held_out = [(0.92, 'technical', 'billing'), (0.83, 'billing', 'billing'),
            (0.55, 'technical', 'technical'), (0.3, 'billing', 'technical')]

def evaluate(rows, threshold, error_cost=10, review_cost=1):
    proposed = [r for r in rows if r[0] >= threshold and r[1] != 'human']
    errors = sum(predicted != label for _, predicted, label in proposed)
    reviewed = len(rows) - len(proposed)
    return {'threshold': threshold, 'n': len(rows), 'proposed': len(proposed), 'errors': errors,
            'coverage': len(proposed) / len(rows) if rows else 0,
            'selective_error': errors / len(proposed) if proposed else None,
            'review_rate': reviewed / len(rows) if rows else 0,
            'cost': errors * error_cost + reviewed * review_cost}

if __name__ == '__main__':
    results = [evaluate(development, t) for t in [0.5, 0.7, 0.8, 0.9, 1.0]]
    for row in results:
        print('development', row)
    chosen = min(results, key=lambda r: (r['cost'], -r['threshold']))['threshold']
    print('held-out (do not retune on this set)', evaluate(held_out, chosen))
    print('Synthetic illustration only. Repeat with labeled outcomes and uncertainty estimates.')

运行

python calibrate.py

如何判断是否运行正确

有 API 的示例应输出 action、team 等结构化字段；具体标签与分数会随输入和模型变化，不能要求与模拟值一致。删除密钥应走复核分支，不应泄露异常正文。校准脚本输出 development 与 held-out 两组指标；它不验证模型质量。

官方接口与概念来源