1. はじめに
Foundry の評価では、単発の質問と回答を比べるだけでなく、業務固有の基準、ツール利用、会話全体、本番トレースまで評価範囲が広がっています。一方、「プレビュー」とだけ記載しても、何が増え、何と組み合わせるのかは分かりません。
本記事は評価機能の全体ガイドの補足として、プレビュー機能の目的・関係・制約を具体的に説明します。全機能を同時に使うのではなく、既存評価のどの不足を補うかで選びます。
確認基準日: 2026-11-17。公式資料で個別にプレビューと明示された項目を中心に扱います。記事中の分類と業務例は説明用であり、公式の唯一の分類や実測結果ではありません。提供状態、SDK、judge model、対応地域は利用時に再確認してください。
2. 「プレビュー機能」と「プレビュー画面」を区別する
2.1 プレビューになる単位は一つではない
評価器カタログ、ポータル手順、トレース評価、監視設定では、別々の単位にプレビュー表記があります。次はその位置付けを整理したものです。[^evaluator-catalog][^portal-evaluation][^trace-evaluation][^monitoring]
表1 プレビュー機能が拡張する範囲
| 拡張するもの | 主なプレビュー項目 | 解決したい課題 |
|---|---|---|
| 採点基準 | Rubric、カスタム評価器 | 業務固有の合格基準 |
| 採点する観点・方法 | エージェント評価器、合成評価器、RAG 補完指標 | 達成・遵守・ツール・欠落の切り分け |
| 評価する範囲 | Full conversations | 複数ターンでの結果 |
| 入力・観測元 | 画像・音声、トレース評価 | テキスト以外や実利用の採点 |
| 反復・通知 | Recurring evaluations、Red team scans、Alerts | 評価の定期化と変化の検知 |
「Rubric と会話評価のどちらを選ぶか」という二者択一ではありません。会話全体を Rubric で採点するように、対応条件を満たす軸を組み合わせます。
公式ページ先頭の「プレビューと記した項目に関する注意書き」は、ページ内の全機能がプレビューという意味ではありません。反対に、注記が見当たらないことも GA の証明にはなりません。カタログと個別資料を突き合わせます。[^evaluator-catalog]
2.2 Preview / Playground は操作する場所
エージェントの Preview 画面では、Human Evaluation のテンプレートに沿って人がフィードバックを入力できます。Playground → Metrics → Run full evaluation は、自動評価へ進む入口です。これらの画面名と、提供状態の preview は別の話です。[^human-evaluation][^portal-evaluation]
たとえば「プレビュー画面で人が採点する」と「プレビュー提供中の Rubric で自動採点する」は、採点者も方法も異なります。人手評価は Rubric の校正に使えますが、Rubric を有効にする操作そのものではありません。
Playground の評価は既定で有効で、従量課金に含まれると公式資料に記載されています。不要なら Metrics で評価器をすべて選択解除します。preview という名称から無料と判断しないでください。[^observability]
3. Rubric と合成評価器:業務基準を作るか、既定指標をまとめるか
3.1 Rubric:業務にとっての「良い」を定義する
Rubric は、説明と重みを持つ評価観点を定義し、LLM を採点者にする仕組みです。適用可能な各観点を1〜5で採点し、重みを反映した総合スコアを0〜1に正規化します。手書きのほか、エージェントの文脈、指示、参照資料から自動生成できます。トレースは補助入力にできますが、単独の生成元にはできません。[^rubric]
たとえば旅費精算支援なら、「説明が自然か」だけでなく次のような基準を作れます。これは業務例であり、Foundry の既定基準ではありません。
表2 旅費精算支援で定義する Rubric の例
| 観点 | 判断内容 |
|---|---|
| 規程の適用 | 出張区分に合う規程を示したか |
| 不足情報の確認 | 日付や金額が不明なまま断定していないか |
| 手順の明確さ | 次に必要な操作を案内したか |
| 登録結果の説明 | 受付番号や失敗理由を事実どおり伝えたか |
自動生成した基準が正しいとは限りません。公式も、少量の例で人の判断と一致するかを確かめ、説明・重み・適用条件・しきい値を調整するよう勧めています。always_applicable を指定した観点は、関連性による適用判定を省いて常に採点されます。[^rubric]
Rubric の重み付き平均を、重大違反の見逃しを許す仕組みにしないことが重要です。たとえば「無断登録しない」を重みの小さい1項目に埋めず、独立した不合格条件やアプリ側の実行制御でも確認する設計を勧めます。
3.2 Output Quality と Tool Use Quality:複数指標を一括採点する
合成評価器は、既定の複数観点を1回の LLM judge 呼び出しで採点し、構成要素ごとのスコア・理由も返します。Rubric と違い、自由に作った観点の重み付き平均ではありません。[^agent-evaluators]
表3 合成評価器に含まれる観点
| 評価器 | 含まれる単体指標 |
|---|---|
| Output Quality | Fluency、Coherence、Intent Resolution、Task Adherence、Groundedness、Task Completion |
| Tool Use Quality | Tool Call Accuracy、Tool Call Success、Tool Input Accuracy、Tool Output Utilization、Tool Selection |
Output Quality は応答と成果、Tool Use Quality はツールを使う過程をまとめて測るため、互いの代替ではありません。両方を使うなら、同じ単体指標まで無条件に重ねず、比較検証の目的と費用を確認します。
主結果は、適用された構成要素がすべて合格なら合格、1つでも不合格なら不合格です。適用されなかった要素は除外され、すべてがスキップされた場合は not_applicable になります。主結果だけでなく、各要素の状態と採点理由を見ます。[^agent-evaluators]
図1 Rubric と合成評価器は総合結果の作り方が異なる
図は採点方法の比較です。同じ応答を評価しても、業務基準への適合度と既定指標の合否は違う結果になり得ます。両者の関係は「新旧」や「上位・下位」ではありません。[^rubric][^agent-evaluators]
3.3 評価レベルと judge model も個別に確認する
確認基準日: 2026-11-17。両合成評価器は Turn / Conversation に対応し、query・response または messages をマッピングします。Tool Use Quality では tool_definitions も必要です。個別資料は、合成評価器の judge に GPT-5.6 ファミリーを使うよう指定しています。一般的な LLM judge の対応モデルを、そのまま合成評価器に流用できるとは限りません。[^agent-evaluators]
また、合成評価器の会話対応は、構成要素の単体版もすべて会話対応になったことを意味しません。次章の単体評価器の対応表と分けて確認してください。
Quality Grader は新規構成から除外する: カタログにはプレビューとして残っていますが、個別の Agent evaluators 資料では「非推奨で実行不可」とされています。名称が似ていても、Output Quality と同じものとみなさず、現行の個別資料に従います。[^evaluator-catalog][^agent-evaluators]
4. エージェントと RAG のプレビュー評価器を使い分ける
4.1 完了・遵守・意図・満足度は同じ成功ではない
次の4指標はプレビューです。評価レベルは、合成評価器ではなく単体評価器の個別資料の表記です。[^agent-evaluators]
表4 単体のエージェント評価器の使い分け
| 評価器 | 判断すること | 対応レベル |
|---|---|---|
| Task Completion | 利用可能な成果物を含めて依頼を完了したか | Turn / Conversation |
| Task Adherence | 指示・規則・手順を守ったか | Turn |
| Intent Resolution | ユーザーの意図を捉えたか | Turn |
| Customer Satisfaction | 有用性・明確さなどから満足度を推定 | Turn / Conversation |
「精算登録は終わったが、確認を取らずに実行した」なら、達成と遵守を分けて見る必要があります。「変更したい」を「新規登録」と解釈すれば、丁寧な説明でも意図理解に問題があります。
Customer Satisfaction は、対話をもとに LLM が推定する指標です。利用者本人のアンケート結果や Human Evaluation の実回答ではありません。 実際のフィードバックと併用して妥当性を確認します。
ツールの選択・引数・成功・結果利用まで調べる場合は、最終回答だけでなく構造化された呼び出しと結果を残します。ただし対応ツールに制限があり、個別資料は Azure AI Search や一部の Grounding ツールを含むケースで、特定のツール評価器などを避けるよう記載しています。単体・合成のどちらでも、利用ツールを先に確認することが必要です。[^agent-evaluators]
4.2 Response Completeness:正解に対する「不足」を測る
Response Completeness は、response が ground_truth の重要情報をどの程度含むかを judge model で測ります。Similarity が意味の近さを見るのに対し、こちらは必要な要素の欠落に焦点を当てます。[^rag-evaluators]
たとえば期待回答が「申請期限・添付書類・提出先」の3点を含み、実回答が期限しか説明していないケースです。期限が正しく、文脈に忠実でも、必要な情報を満たしたとは限りません。
正解が用意できない実トラフィックへ、無条件に適用する指標ではありません。人が確認した正解付きの固定ケースで、回答を短くした変更が必要事項まで削っていないかを確認する用途に向きます。
4.3 Groundedness Pro:Content Safety による根拠性判定
Groundedness Pro は query・response・context を取り、Azure AI Content Safety のサービスモデルで文脈との整合性を判定します。自前の judge model デプロイを必要とせず、二値の結果を返す点が、通常の Groundedness と異なります。[^rag-evaluators]
表5 根拠性・充足・業務基準は照合先が異なる
| 選択肢 | 主な照合先 | 得意な確認 |
|---|---|---|
| Groundedness / Groundedness Pro | 提示した文脈 | 文脈外の内容を作っていないか |
| Response Completeness | 期待回答 | 重要情報を落としていないか |
| Rubric | 業務の評価基準 | 手順や説明が業務に合うか |
Pro は単純な上位互換でも、検索の正確さの保証でもありません。 古い文書へ忠実に答える問題は、文書鮮度や検索評価で別途確認します。自前の judge が不要なことも、無料や全地域対応を意味しません。Groundedness Pro には固有の対応地域があります。[^evaluation-regions]
5. 会話全体・画像・音声の評価は、何を増やすのか
5.1 Full conversations:単発回答から一連の達成へ
ポータルの Full conversations はプレビューで、既存の対話、またはシミュレーションした対話を評価できます。既存対話の評価は過去の挙動の分析、シミュレーションはエージェントを実際に動かす検証です。[^portal-evaluation]
会話シミュレーションでは、シナリオから模擬ユーザーが発話し、対象エージェントと複数ターン対話します。その結果を会話対応の評価器で採点します。シナリオは正解付きの完成会話ではなく、模擬ユーザーモデルも採点者や対象エージェントとは別の役割です。[^conversation-simulation]
たとえば「日付が未確定の出張費を申請したい」という状況で、不足情報を確認してから登録するかを試せます。シナリオだけでなく、ターン数・反復回数・ツールのテスト用接続も管理する設計を勧めます。
会話全体の評価では messages を使い、選んだ評価器の supported_evaluation_levels を確認します。Conversation 実行で Turn 専用の評価器がスキップされても、不具合なしと判定されたわけではありません。 単体の Task Adherence などを使う確認は、対応する Turn 評価として設計します。[^evaluator-catalog][^agent-evaluators]
5.2 Multimodal:画像・音声を含む入力へ広げる
ポータルの Multimodal content もプレビューです。公式例では、画像に image_url・caption、音声に audio_data・expected を使い、音声は WAV 形式です。会話のメッセージ内に画像や音声を含める形式も説明されています。[^portal-evaluation]
画像を見て答える帳票 QA や、音声入力を含む応対で、テキストだけに変換すると失われる情報を検証したい場合に検討します。ただし、画面が画像・音声を受け付けることと、選んだ全評価器がそのメディアを直接採点できることは別です。
実務では、対象モデル・評価器・入力形式の組み合わせを少数ケースで確認し、読み取り内容の正しさ、回答内容、音声固有の品質を別の観点として扱います。「テキスト応答が正しいから音声品質も合格」とは判定しない設計が必要です。
6. トレース評価と監視設定:実利用を採点する
6.1 Trace evaluation:記録済みの実行を再採点する
SDK の Evaluate traces はプレビューで、Application Insights の記録を、元のリクエストを再実行せずに採点します。トレース ID を指定する方法と、エージェントや期間で対象を探す方法があります。必要な OpenTelemetry 形式を出力すれば、Foundry Agent Service 以外のエージェントも対象にできます。[^trace-evaluation]
重要なのは、ログがあるかではなく、評価に必要な内容を記録しているかです。サービスは invoke_agent の span を読み、gen_ai.input.messages / gen_ai.output.messages などから会話を取り出します。両方の内容が空・欠落している場合、品質評価器は score=None を返すと公式資料にあります。[^trace-evaluation]
失敗件数だけのログや、内容を削除したトレースから、同等の品質評価ができるとは限りません。一方で入力やツール結果を無制限に記録することも避け、機微情報、保持期間、閲覧権限を先に設計します。
Intelligent sampling は多様なトレースを選ぶ機能です。低頻度のケースを拾う分析に役立ちますが、選ばれた集合の失敗率を、そのまま本番全体の発生率と呼ばないでください。頻度の監視と、多様性重視の失敗探索は目的が違います。[^trace-evaluation]
6.2 Recurring evaluations:いつ・何を繰り返すか
確認基準日: 2026-11-17。監視設定には Recurring evaluations、Red team scans、Alerts のプレビュー表記があります。Recurring の設定では、対象エージェント、評価単位、実行タイプ、データソース、サンプリングなどを選びます。[^monitoring]
表6 継続・定期評価と通知の分担
| 設定 | 役割 | 注意点 |
|---|---|---|
| Continuous evaluation | 発生した実トラフィックをサンプル評価 | 利用状況で対象が変わる |
| Scheduled evaluation | 固定データや期間内トレースを時刻指定で評価 | 同条件比較か、直近の分析かを決める |
| Red team scans | 敵対的テストを反復する | 通常トラフィックの採点ではない |
| Alerts | 指標や評価結果の異常を通知する | 採点器や出力ブロック機能ではない |
同じ Rubric を使っていても、固定データと本番サンプルのスコアは同じ母集団の比較ではありません。 リリースの回帰確認は固定ケース、問い合わせ傾向の変化は本番サンプル、と目的を分けます。
継続評価には実行上限や取り込み遅延があるため、画面が空なら、トラフィックの有無、ルールの状態、権限、実行上限を確認します。再学習でも、応答を返す前に止める同期的な防御でもありません。[^monitoring]
監視資料が本番利用の手順を説明していても、プレビューの本番採用を推奨していると読み替えないでください。機能として可能なことと、サポート条件を満たして採用できることは別です。
7. カスタム評価器:Rubric では表せない検証を追加する
カスタム評価器はカタログでプレビューです。Rubric が重み付きの自然言語基準を使うのに対し、より厳密なロジックや既存システムとの照合が必要なら、次の方式を検討します。[^evaluator-catalog][^custom-evaluators]
表7 カスタム評価器の選び方
| 方式 | 向く検証 | 主な出力 |
|---|---|---|
| Code-based | JSON 構造、必須項目、値の規則 | 0〜1の数値 |
| Prompt-based | 独自の採点手順や分類 | result と reason |
| Endpoint-based | 自社の台帳・採点サービスとの照合 | score・status など |
Code-based の grade() はネットワークへ接続できません。外部台帳を参照するなら、自社で管理する Endpoint-based などを選び、渡す評価データと接続認証も管理します。現在の Code-based API はオーケストレーションのため deployment_name を要求しますが、これはコード内で LLM 採点するという意味ではありません。[^custom-evaluators]
特に重要なのが、品質の失敗と採点処理の失敗の分離です。公式資料では Code-based の例外・タイムアウトはエラーとして記録され、スコアは0になります。Endpoint-based にも completed / error / skipped の状態があります。スコアだけを見て「エージェントが不正解だった」と結論しないでください。[^custom-evaluators]
8. 検証への組み込み方と、導入前の確認
8.1 まずは既存評価と並行して動かす
以下は旅費精算支援を題材にした導入例です。製品の既定構成ではなく、プレビュー評価の妥当性を確かめるための設計例です。
- 人が確認した少量のケースを固定する。正常、情報不足、規程外、ツール失敗を含める。
- 業務基準を Rubric にする。人の評価と食い違った例を調べ、説明と重みを調整する。
- 必要な補完指標を選ぶ。欠落を探すなら Response Completeness、指示違反なら Task Adherence、複数観点をまとめるなら合成評価器を検証する。
- 会話全体の失敗を追加する。聞き返し後の登録までを試し、会話対応と Turn 専用の評価を分ける。
- 記録から運用評価へ進む。まずトレースが採点可能かを確認し、対応する継続・定期評価を並行運用する。
Pass / Fail だけでなく、「対象件数、採点完了件数、対象外・スキップ件数、エラー件数」を記録することを勧めます。採点対象が減ったために合格率だけ上がる事態を検知しやすくなります。
プレビューを唯一のリリースゲートにせず、人手レビュー、既存の固定ケース、通常のアプリテストを残します。生成や最適化に使ったケースとは別の確認用ケースでも評価すると、特定データへの過剰適合を見つけやすくなります。
8.2 提供条件と未確認事項を残す
公式資料は、明記されたプレビューについて SLA がなく、本番ワークロードへの利用を推奨しないと説明しています。利用規約と採用可否は組織の基準で確認してください。[^evaluator-catalog]
技術面では、次を機能ごとに確認します。
- 対応範囲: 評価レベル、ツール、メディア、言語、judge model。ある機能の対応を別機能へ一般化しない
- 接続と権限: 実行ユーザー・アプリとプロジェクトのマネージド ID、モデル推論とトレース閲覧の権限を分ける
- 実行条件: 利用地域、ネットワーク構成、SDK / API 版、クォータ、停止・再実行の手順
- データと費用: 入力・ツール結果の保持、外部採点先へ送る範囲、judge・模擬ユーザー・対象の再実行・ログの費用
権限とリージョンには専用の公式資料があります。特にプロジェクトでの評価実行権限と、モデル推論や Application Insights の読み取り権限は別に確認します。[^evaluation-permissions][^evaluation-regions]
本記事は公式資料に基づく整理であり、特定テナントの提供状況、日本語での全指標の精度、全機能の動作、実費用は未検証です。未確認の項目を「無料」「非対応」「利用可能」と推測で埋めないことも導入判断の一部です。
9. まとめ
Foundry のプレビュー評価機能は、既存評価を一括で置き換えるものではありません。Rubric は業務基準、合成評価器は複数観点、会話評価は範囲、画像・音声は入力、トレースと Recurring は観測・実行方法を拡張します。
課題に必要な機能を組み合わせ、対応する単位・入力・ツールを確認します。人の判断で校正し、スキップやエラーを成功と分け、既存の確認方法と並行して検証することが、プレビュー機能を評価する基本です。
10. 参考情報
- Microsoft Foundry の評価機能ガイド — 自動評価・人手評価・レッドチーミングの使い分け — 評価機能全体の関係をつかむ関連記事
- Built-in Evaluators Reference — 提供状態と各評価器への公式入口
- Rubric evaluators — 業務基準の生成・調整と採点結果の読み方
- Agent Evaluators for Generative AI — 合成評価器と単体評価器の入力・対応レベル
- Run evaluations from the Microsoft Foundry portal — 会話・メディアを含む評価の作成手順
- Monitor agents with the Agent Monitoring Dashboard — 継続・定期評価と監視設定の導入手順
[^evaluator-catalog]: Built-in Evaluators Reference — Microsoft Learn(確認日: 2026-11-17)
[^portal-evaluation]: Run evaluations from the Microsoft Foundry portal — Microsoft Learn(確認日: 2026-11-17)
[^trace-evaluation]: Evaluate deployed interactions with the Microsoft Foundry SDK — Microsoft Learn(確認日: 2026-11-17)
[^monitoring]: Monitor agents with the Agent Monitoring Dashboard — Microsoft Learn(確認日: 2026-11-17)
[^human-evaluation]: Human Evaluation for Microsoft Foundry Agents — Microsoft Learn(確認日: 2026-11-17)
[^observability]: Observability in Generative AI — Microsoft Learn(確認日: 2026-11-17)
[^rubric]: Rubric evaluators — Microsoft Learn(確認日: 2026-11-17)
[^agent-evaluators]: Agent Evaluators for Generative AI — Microsoft Learn(確認日: 2026-11-17)
[^rag-evaluators]: Retrieval-Augmented Generation (RAG) Evaluators for Generative AI — Microsoft Learn(確認日: 2026-11-17)
[^evaluation-regions]: Rate limits, region support, and enterprise features for evaluation — Microsoft Learn(確認日: 2026-11-17)
[^conversation-simulation]: Simulate conversations with the Microsoft Foundry SDK — Microsoft Learn(確認日: 2026-11-17)
[^custom-evaluators]: Custom Evaluators — Microsoft Learn(確認日: 2026-11-17)
[^evaluation-permissions]: Set up permissions for Microsoft Foundry evaluation workflows — Microsoft Learn(確認日: 2026-11-17)






