TypeSafe Jev を学ぶ

公式メンタルモデル

公式参考文献: Introduction · State · Primitives

{
  "choice": "technical",
  "probabilities": { "technical": 0.85, "billing": 0.15 },
  "confidence": 0.78
}

{
  "score": 1.43,
  "probabilities": { "0": 0.0, "1": 0.57, "2": 0.43 },
  "confidence": 0.35
}

{
  "type": "noul",
  "noul": 0.95
}

公式参考文献: Choice · Score · Noul

強力な基準を書く

1. ばらばらのオプション。 2 つの選択キーが両方とも true の場合、オペレーターはモデルと戦うことになります。
2. エッジを説明します。 buy_intent に (在庫、出荷先) と Price_question が含まれるかを述べます。
3. 残りは最後に保管してください。怠惰なキャッチオールではなく、他人や人間を脱出用のハッチとして使用してください。
4. スコアを昇順に並べます。基準配列は最低→最高です。
5. 質問ごとに 1 つの決定。 「ルート」と「緊急度」を別々のキーに分割します。

質問の構造

route: {
  type: 'choice',
  instructions: 'Route this ticket to one queue.',
  criteria: {
    tech: 'Bugs, outages, API failures, or integrations',
    sales: 'Pricing, plans, demos, or new-purchase intent',
    billing: 'Charges, invoices, receipts, or subscriptions',
    human: 'Ambiguous, sensitive, legal, or multi-issue'
  }
}

構造体の状態と正確なフィールドの参照

名前付き状態フィールドに証拠を保管し、ドットとインデックスのパスで指示を示します。これにより、どのテキスト、レコード、またはポリシーが答えを制御すべきかについてのあいまいさが軽減されます。

const state = {
  ticket: {
    message: 'I was charged twice. Please refund the duplicate.',
    orderId: 'A-104'
  },
  order: { charges: [49, 49] },
  refundPolicy: 'Duplicate charges are eligible for a refund.'
};

const questions = {
  refund_requested: {
    type: 'noul',
    instructions: 'Does `ticket.message` request a refund?'
  },
  policy_supports_refund: {
    type: 'noul',
    instructions: 'Does `refundPolicy` support the request given `order.charges`?'
  }
};

公式参考文献: Primitives · State

公式の HTTP エンドポイントから始めます

TYPESAFE_API_KEY をサーバー上に保持します。名前付き質問の状態、モデル、マップを POST /v1/systemone. に送信します。

curl -X POST https://api.typesafe.ai/v1/systemone \
  -H "Authorization: Bearer $TYPESAFE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": "Stripe has failed for 3 days. I am losing sales.",
    "model": "jev-latest",
    "questions": {
      "department": {
        "type": "choice",
        "instructions": "Which team should handle this?",
        "criteria": {
          "billing": "Payment or subscription issues",
          "technical": "Bugs or integration problems",
          "sales": "Pricing or account questions"
        }
      },
      "is_urgent": {
        "type": "noul",
        "instructions": "Does this message convey urgency?"
      }
    }
  }'

入力した回答と再試行には公式 SDK を使用してください

Python SDK は環境から TYPESAFE_API_KEY を読み取り、デフォルトは jev-latest に設定され、型指定された質問/回答クラスを公開し、デフォルトの再試行ポリシーを適用します。

pip install typesafe-sdk

from typesafe_sdk import Choice, Noul, TypeSafeClient

with TypeSafeClient() as client:
    response = client.system_one(
        state={"message": "Stripe has failed for 3 days.", "impact": "Losing sales"},
        questions={
            "department": Choice(
                instructions="Which team should handle this?",
                criteria={
                    "billing": "Payment or subscription issues",
                    "technical": "Bugs or integration problems",
                    "sales": "Pricing or account questions",
                },
            ),
            "is_urgent": Noul(
                instructions="Does `message` and `impact` convey urgency?"
            ),
        },
    )

department = response.answers["department"]
print(department.choice, department.confidence)
print(response.answers["is_urgent"].noul)

質問 ID の下にある各回答を読んでください

{
  "model": "jev-1.13.0",
  "answers": {
    "department": {
      "type": "choice",
      "choice": "technical",
      "confidence": 0.78,
      "probabilities": { "technical": 0.85, "billing": 0.15, "sales": 0.0 }
    },
    "is_urgent": { "type": "noul", "noul": 0.95 }
  },
  "usage": { "input_tokens": 392, "output_tokens": 54 }
}

完全なエラー曲面を処理する

import { experimental_evaluate as evaluate } from 'ai';
import { gateway } from '@ai-sdk/gateway';

const result = await evaluate({
  model: gateway('typesafe-ai/jev'),
  state,
  questions,
});

公式参考文献: Quick start · API reference · SDKs

TypeSafe は、オプションの配布からの信頼性を明らかにします。実際的なポリシーは次のとおりです。

ストリームまたは受信トレイからのラベル付きサンプルのカットオフを調整します。しきい値はユースケース固有です。提案をお金に換えたり、副作用を返金したりしないでください。

モデルをグローバルに閾値設定するのではなく、アクションを閾値設定する

action = response.answers["action"]

if action.confidence < 0.5:
    route_to_human(state)             # uncertain: do not guess
elif action.choice == "check_balance":
    show_balance(account_id)          # reversible, low stakes
elif action.choice == "approve_transfer":
    if action.confidence > 0.9:
        confirm_then_execute(account_id)
    else:
        ask_user_to_confirm(account_id)  # higher stakes, higher bar

公式参考文献: Confidence

完全なサポート優先順位付けワークフローを 1 つ構築する

1 つの構造化されたチケット状態を送信し、3 つの独立した質問を並行して行います。ルーティングと安全性ポリシーをコード内に保持します。

const questions = {
  department: {
    type: 'choice',
    instructions: 'Which team should handle `ticket.message`?',
    criteria: {
      returns: 'Exchanges, wrong or damaged items',
      shipping: 'Delivery status, delays, or lost packages',
      billing: 'Charges, invoices, or payment problems',
      other: 'None of the above'
    }
  },
  frustration: {
    type: 'score',
    instructions: 'How frustrated is the customer?',
    criteria: ['Calm', 'Concerned but civil', 'Very angry']
  },
  refund_requested: {
    type: 'noul',
    instructions: 'Does `ticket.message` request money back?'
  }
};

入力された回答を監査可能な決定に変える

const department = result.answers.department;
const frustration = result.answers.frustration;
const refundProbability = result.answers.refund_requested.noul;

if (department.confidence < 0.5) {
  return { action: 'manual_triage', reason: 'uncertain_department' };
}

const flags = [];
if (frustration.score > 1.4) flags.push('senior_agent');
if (refundProbability > 0.75) flags.push('refund_review');

return {
  action: 'route',
  team: department.choice,
  flags,
  evidence: {
    departmentProbabilities: department.probabilities,
    frustrationScore: frustration.score,
    refundProbability
  }
};

公式参考文献: Patterns · Primitives