架空の問い合わせ 16 件／保存された担当回答

問い合わせが、どの担当候補へ進んだか

Clef Flashが日本語の16通から選んだ行き先を、保存ログで追う。返事の文章を作るテストではなく、「請求・技術・営業のどこへ回すか」という小さな判断の確認です。

保存結果の再生作者作成の架空fixture新規推論なし。再生間隔は演出で、処理速度ではありません。

保存結果の再生作者作成の架空fixture

選んだ行き先と、残った候補

静止表示・任意の一通を選べます

保存された架空文

作者の想定：（独立した正解ではありません）

請求

技術

営業

画面の行き先は、保存された choice を表示する演出です。業務へ送信していません。

confidence 正答率ではありません。

番号を押すと一通を確認できます。橙の枠と ≠ は作者の想定との不一致。色は選ばれた担当です。

この16件で、作者の想定と一致

作者が問い合わせと同時に付けた想定との一致。実務の正答率ではありません。

別の観測：confidence ≥ 0.9

0.9は仮の線。算出法が実行方式で異なり、モデル間の順位にはできません。

表示中の出所：

この一通の保存値と出所を開く

測定範囲・省略したこと

16件はClaudeエリスが検証用に作った架空文です。モデルへ作者の想定ラベルは渡していません。3周計測しましたが、保存した回答は各件の1周目だけです。画面はその保存回答を使用し、モデルの再実行、実顧客データ送信、業務の担当付け・返金・返信は行いません。

Ollamaは2026年10月5日、Decider MLXは10月4日の記録です。Ollamaの交互実行と単独実行では保存回答が一致しました。共有Macの負荷と計時範囲の違いがあるため、速度を並べていません。候補の割合は原値を百分率にし小数1桁、confidenceは小数3桁で表示します。Jevとの実測比較もありません。

モデルが「どの単語を見たか」「なぜ選んだか」は、この保存結果からは分かりません。確率分布から判断理由を作って表示していません。

T09では、Clef Flashは営業を選び、請求にも35.6%を割り当てました。confidenceは約0.39です。「年払い」が支払いの話にも読める、というのは制作側の読みであり、モデルが説明した理由ではありません。

T09年払いの割引。Clef Flashは営業64.1%、請求35.6%、技術0.3%を割り当て、営業を選択。confidence約0.39は正答率ではない。 — 説明図：候補への割当と、正しさの実測は別もの。T10も想定どおり技術を選びましたが、confidenceは約0.33でした。架空16件の保存1周目を使用。

同じ架空16件の行き先。Clef FlashとTev1は作者想定と16/16、Nimbleは15/16、Deciderは13/16一致。confidence 0.9以上は2、4、6、9件だが算出法が違い順位にできない。 — 比較図：作者の想定と同じ行き先を返した件数と、confidenceの線を超えた件数を分離。架空・小標本・作者ラベルであり、本番の正答率やモデルランキングではありません。モバイルはClefの全16件と参考集計を表示します。