1. はじめに

Foundry の評価には多くの名称が現れます。理解しにくい背景は、採点の仕組み、採点基準、データの作り方、実行タイミングが混在して見えることです。

本記事は役割と関連性を整理し、「課題に何を組み合わせるか」を判断するためのガイドです。想定 QA 比較に絞った既存記事とは別に、機能横断で説明します。

確認基準日: 2026-11-17。現行の公式資料に基づく整理です。4軸や導入例は説明用の分類・設計例であり、固定の公式メニューではありません。提供状態、SDK、対応ツール、リージョンは導入時にリンク先で再確認してください。

2. 全体像は「4つの軸」で理解する

Foundry の可観測性は Evaluation・Monitoring・Tracing で構成されます。評価は品質・安全性の採点、監視は指標の時系列観測、トレースは実行経路の記録です。記録があるだけで品質スコアが付くわけではなく、処理成功率と回答の正しさも別です。[^observability]

自動評価は次の4軸で整理できます。公式ワークフローも対象・単位、評価器、実行、改善の順に設計します。[^evaluation-overview]

Microsoft Foundry の自動評価を、対象、評価単位、評価器、実行タイミングの4軸で整理した概念図

図1 同じ評価器を、異なる対象・単位・タイミングで使い分ける

たとえば「エージェントの会話全体を Rubric で単発評価する」と「本番の会話へ同じ Rubric を継続適用する」は、基準を共有しつつ実行方法を変えた構成です。対応する評価単位は評価器ごとに確認します。[^rubric][^built-in-evaluators]

SDK では、evaluation はデータ形式と採点基準の定義、run はその定義を使う個々の実行です。[^cloud-evaluation]

3. 課題から選ぶ機能の早見表

「いま何を判断したいか」から選びます。自動評価の入口にはポータル、SDK、CLI、CI/CD がありますが、入口と採点基準は別の選択です。[^evaluation-overview]

目的中心にする機能補完するもの
候補モデルの選定Model benchmarks自社データの評価
変更前後の回帰確認データセットでの自動評価run 比較・人手レビュー
業務固有の品質判定Rubric / カスタム評価器専門家による校正
現場での使いやすさHuman Evaluation自動採点との不一致分析
敵対的な失敗の探索AI Red Teaming安全性評価・実行時防御
本番の品質低下検知継続評価(Continuous)監視・トレース
定点での品質確認定期評価(Scheduled)固定ケース/期間内トレース
失敗パターンの整理Cluster Analysis行別結果・トレース
改善候補の探索Agent optimizer独立した確認用ケース

Model benchmarks は公開データで品質・安全性・性能・推定コストを比較します。自社の検索やツールを含む合格判定は別途、自社のケースで行います。モデル順位とアプリ全体の実用性は別の評価です。[^model-benchmarks]

4. 自動評価は「対象・単位・データ」を先に決める

4.1 既存の回答を採点するか、対象を動かして採点するか

ポータルの評価対象には Agent、Model、Dataset、Traces があります。最大の違いは、既存の出力を評価するか、新しい出力を生成するかです。[^portal-evaluation]

対象評価するもの向く用途
Dataset保存済みの回答同じ出力の再採点
Modelモデルの新規応答モデル・プロンプト比較
Agentエージェントの新規応答・過程エージェントの回帰評価
Traces記録済みの対話・実行本番で起きた応答の分析

Dataset の既存出力を再採点しても、修正版エージェントの動作確認にはなりません。逆に Model / Agent を対象にすると、新しく生成した応答を採点し、データセット内に保存済みの応答は使いません。「過去の失敗を分析する」と「修正後に再実行する」を区別することが重要です。[^evaluation-datasets]

4.2 Turn と Conversation は、測る成功の単位が違う

Turn-level は個々の応答、Conversation-level は複数ターンの対話全体を評価します。ポータルの Model 評価は Individual turns、Full conversations はプレビューです。[^portal-evaluation]

申請支援なら「必要書類の説明が正しい」は応答の品質、「不足情報を聞き、登録し、受付番号を返した」は会話全体の達成です。自然な回答だけでは申請完了を保証できません。

会話全体の評価には messages 形式が必要です。配列で会話を渡せばすべての評価器が会話全体を採点する、という意味ではありません。 評価器の supported_evaluation_levels を確認し、選んだレベルに非対応の評価器がスキップされていないかを確認します。ポータルの選択肢と SDK の対応範囲も同一視しないでください。[^built-in-evaluators]

4.3 データ生成、会話シミュレーション、トレース再利用を分ける

合成データ生成は、指示やプロンプト、補助的な参照ファイルからケースを作ります。Simple QnA は単発の QA、Simulation seed は会話を起こすシナリオを生成します。後者を使う会話シミュレーションでは、別のモデルがユーザー役となり対象エージェントと対話し、その結果を採点します。対象、模擬ユーザー、採点者は別の役割です。[^synthetic-datasets][^conversation-simulation]

本番トレースからは、再利用できる評価データセットを作成できます。代表ケースの選別と非公開情報のマスキングは別機能なので、サンプリングを有効にしたことをプライバシー対策の代わりにしないでください。[^traces-to-dataset]

合成ケースで境界条件を、本番由来のケースで実利用を補う構成を勧めます。ただし、生成した想定回答や過去の実回答を正解とみなさず、業務担当者が確認することが重要です。

5. 評価器は「何と照合するか」で使い分ける

5.1 QA・RAG:正解、検索文脈、質問は別の基準

似た名前の評価器でも、照合先が異なります。テキスト類似度と RAG の評価器は次のように使い分けます。[^textual-similarity][^rag-evaluators]

評価器何と照合し、何を測るか
Similarityground_truth に対する回答の意味的な近さ
F1 / BLEU / GLEU / ROUGE / METEOR参照回答との語句・n-gram などの一致
Retrieval質問に対する検索文脈の関連性
Document Retrieval文書の関連度ラベルに対する検索品質
Groundedness文脈・対応するツール結果への回答の忠実性
Relevance質問に対する回答の適切さ
Response Completeness(プレビュー)ground_truth の重要情報に対する回答の充足

Groundedness が高くても、現実に正しいとは限りません。 古い規程へ忠実に答えても、現行業務では誤り得ます。根拠に忠実であることと、必要事項を漏れなく答えることも別です。検索・根拠性・充足を分けて修正箇所を絞ります。

通常の Groundedness は judge model を使う段階スコア、Groundedness Pro(プレビュー)は Azure AI Content Safety による二値判定です。Pro は同じ指標の単純な上位版ではなく、採点方式・出力・提供条件が異なる選択肢として扱います。[^rag-evaluators]

Similarity は LLM による意味的比較、F1 などはアルゴリズムによる比較です。文章の論理や読みやすさを見る Coherence / Fluency もありますが、それだけで事実の正しさは保証できません。[^textual-similarity][^built-in-evaluators]

5.2 エージェント:「達成」と「実行過程」を分ける

エージェント評価は、結果を見る System evaluation と、途中の処理を見る Process evaluation に分けて考えられます。[^agent-evaluators]

評価器切り分ける問題の例
Task Completion(プレビュー)説明だけでタスクが未完了
Task Adherence(プレビュー)確認を省略するなどの指示・制約違反
Intent Resolution(プレビュー)取消依頼を新規申請と誤解
Customer Satisfaction(プレビュー)解決しても対話の満足度が低い
Tool Selection / Tool Input Accuracyツール選択・引数の誤り
Tool Call SuccessAPI エラーやタイムアウト
Tool Output Utilization失敗したツール結果を成功として案内

Tool Call Accuracy はツール呼び出しの全体的な品質、Task Navigation Efficiency は期待するツール経路に対する効率を見る評価器です。「API 呼び出しが成功した」「業務上正しい処理だった」「ユーザーの目的を達成した」は別々に確認します。[^agent-evaluators]

ツール評価には、最終回答のテキストだけでなく呼び出し・結果・ツール定義が必要になります。対応にも差があり、公式の個別資料は Function Tool、MCP などの対応と、Azure AI Search や一部の Grounding ツールの制約を分けています。利用中のツールが評価可能かを先に確認してください。[^agent-evaluators]

5.3 Rubric と合成評価器は、まとめ方が異なる

確認基準日: 2026-11-17。現行の Rubric の資料は、業務固有の品質を測る主指標として Rubric を使い、安全性などの組み込み評価器を併用する構成を推奨しています。カタログでは Rubric、Output Quality、Tool Use Quality はプレビューです。[^rubric][^built-in-evaluators]

選択肢まとめるもの
Rubric業務固有の重み付き評価観点
Output Quality流暢さ・論理性・意図理解・指示遵守・根拠性・達成
Tool Use Qualityツール呼び出し全体・成功・引数・結果利用・選択

Rubric は手書きできるほか、エージェントの文脈、システムプロンプト、参照資料から生成できます。トレースは補助入力にできますが、単独の生成元にはできません。適用可能な観点を LLM が1〜5で採点し、重みを反映した総合スコアを0〜1へ正規化します。自動生成した基準も、人が少量の実例で校正してから広く使います。[^rubric]

たとえば「不足情報を確認する」「規程の根拠を示す」「登録結果を誤って断定しない」を基準にできます。ただし、重み付き平均で重大な違反が埋もれないよう、許可のない更新や情報漏えいは総合点と独立した不合格条件にするなど、リリース判定は別途設計することを勧めます。

一方、Output Quality と Tool Use Quality は、複数の観点を1回の LLM judge 呼び出しでまとめる合成評価器です。主結果は単純平均ではなく、適用されたすべての構成要素が合格した場合に合格します。全要素がスキップされた場合は not_applicable です。個別指標との重複実行や、対応 judge model の条件にも注意します。[^agent-evaluators]

Quality Grader の記載差に注意: カタログにはプレビューとして残っていますが、Agent evaluators の個別資料は「非推奨で、評価では実行できない」と記載しています。本記事では新規構成の推奨に含めず、Rubric、合成評価器、必要な個別評価器から選びます。[^built-in-evaluators][^agent-evaluators]

5.4 カスタム評価器と Azure OpenAI graders

既存指標で足りなければ、カスタム評価器を使います。形式や規則を厳密に確認するなら Code-based、主観を含む採点なら Prompt-based、外部システムを使う採点なら Endpoint-based が選択肢です。Code-based の実行環境にはネットワークアクセスがないため、外部台帳との照合をそのまま持ち込むことはできません。[^custom-evaluators]

Azure OpenAI graders はラベル分類、数値採点、文字列比較、類似度に対応します。OpenAI Evals 形式を使う別の選択肢で、builtin.* の azure_ai_evaluator とは設定形式が異なります。[^openai-graders]

6. Human Evaluation と AI Red Teaming は何を補うか

6.1 Human Evaluation:人の判断を集め、自動採点を校正する

Human Evaluation はプレビュー画面で回答へ評価を付ける仕組みです。賛否・スライダー・選択式・自由記述のテンプレートを使い、CSV で結果を取得できます。有効なテンプレートは同時に1つです。[^human-evaluation]

専門業務の妥当性、納得感、配慮やトーンなどの確認に向きます。専門家が参照情報と照合する使い方もできますが、中心は評価フォームでの判断収集であり、QA 差分の自動計算ではありません。

自動評価との接続は双方向です。人の評価から Rubric の基準を改善し、自動採点と人の判断が食い違ったケースを再レビューします。なお、Human Evaluation はツール実行を許可する HITL 承認機能ではありません。 品質レビューと、更新・送信前の実行許可は別に設計します。

6.2 AI Red Teaming:採点対象となる失敗を能動的に探す

AI Red Teaming Agent は PyRIT の攻撃探索とリスク・安全性評価を組み合わせ、敵対的な入力で問題を起こせるかを調べます。代表的な結果が **Attack Success Rate(ASR、試した攻撃の成功率)**です。通常の自動評価と違うのは、採点だけでなく、望ましくない挙動を引き起こすテストを探索することです。[^red-teaming]

仕組み主な役割
リスク・安全性評価器与えた応答に有害性や指定のリスクがあるかを採点する
AI Red Teaming敵対的なケースを生成・変形し、対象の失敗を探索・採点する
実行時のガードレール・権限制御本番の危険な出力や操作を防ぐ

安全性評価器は通常の評価データにも適用できます。Red Teaming は探索範囲を広げる補完策ですが、ASR が低いことを「脆弱性が存在しない」「運用時の防御が不要」と読み替えないでください。公式資料も、本番では安全対策を実装し、テストには本番に近い非本番環境を使うことを勧めています。[^red-teaming]

また、すべてのリスクを同じ条件で検証できるわけではありません。たとえば Sensitive data leakage と Prohibited actions の説明には単一ターン・英語のみなどの制約があり、対応するエージェントやツールにも制限があります。日本語の実業務、独自ツール、複数段階の操作まで検証済みだとはみなさず、追加テストを設計します。[^red-teaming]

7. 本番では継続評価と定期評価を併用する

確認基準日: 2026-11-17。Foundry の本番監視は Application Insights と連携し、トークン、遅延、実行成功率、評価結果などを表示します。監視画面や Recurring evaluations、定期的な Red team scans などにはプレビュー表記があります。[^monitoring]

観点継続評価(Continuous)定期評価(Scheduled)
きっかけ実トラフィックの発生指定した時刻・間隔
主な入力本番対話のサンプル固定データ/期間内トレース
得意なこと実利用の変化・劣化検知定点比較/蓄積した対話の分析
注意点利用傾向で評価対象が変化固定ケースだけでは未知を見逃す

定期評価は固定データ専用ではありません。公式手順にはトレースを対象にしたスケジュールもあります。比較の目的が回帰検知なら固定ケース、実利用の観測なら期間内トレースというように、実行周期と入力データを分けて決めます。[^monitoring]

Microsoft Foundry の開発時の自動評価・人手評価・AI Red Teaming、本番の継続評価・定期評価、失敗分析と再評価をつなぐ改善ループ

図2 固定ケースによる回帰確認と、本番の変化の観測をつなげる運用設計例

図の接続は運用設計であり、自動連携の保証ではありません。本番トレースをデータセット化すると、実際の失敗を次回の回帰評価へ追加できます。[^traces-to-dataset]

継続評価は応答完了を契機とするサンプリング評価です。再学習でも返却前の同期フィルターでもありません。実行上限でスキップされることもあるため、結果がない状態を、問題がない状態と解釈しないでください。[^monitoring]

8. 結果を「調査」と「改善」に接続する

8.1 Run 比較と Cluster Analysis の役割

結果は集計値と行別の入力・回答・正解・スコア・理由を見ます。Compare は基準 run や t 検定も確認できますが、比較表示は保存されません。[^evaluation-results]

比較ではデータの版、評価器の設定、judge model を固定し、対象の版を記録します。平均だけでなく、重要ケースの退行、失敗・スキップ・エラー件数も見ます。Rubric の0〜1と Coherence の1〜5を、そのまま平均しないでください。

Cluster Analysis は、似た失敗や応答パターンをまとめ、推定原因と改善案を提示する診断支援です。原因を証明する機能ではないので、個々の結果とトレースへ戻り、検索ミス、引数の誤り、API 障害などを確認します。分析結果は保存されないため、残す場合はページを離れる前にダウンロードします。[^cluster-analysis]

8.2 Agent optimizer:採点を使って変更候補を探索する

確認基準日: 2026-11-17。Agent optimizer の現行資料は、基準構成の評価、改善候補の生成、候補の再評価、順位付け、選択した候補の適用という流れを説明しています。**評価器が「測る」、optimizer が「候補を探す」**という関係です。[^agent-optimizer]

対象主な改善対象適用方法
Prompt エージェント指示・Function tool の説明・モデル選択ポータルで新しい版へ反映
Hosted エージェント左記に加えてスキルコード連携後に構成を反映・再デプロイ

ポータルの Prompt エージェント最適化には、Copilot harness を使わないエージェントという条件があります。また、Prompt エージェントのツール説明最適化は、クライアント側で動く Function tool の実行までは評価できません。Hosted エージェントでは評価中に外部ツールが実行され得るため、副作用のある API はテスト用接続やモックで扱います。[^agent-optimizer]

記録済みの会話からスキルを作成・更新する Skill optimization(プレビュー) は、データセットで候補を比較する上記の流れとは別に説明されています。名前が似ていても、入力と改善対象を確認して選びます。[^agent-optimizer]

optimizer の候補も、開発に未使用のケースと安全性テストで確認してから採用します。検索インデックスの不備や API 障害なら、指示の最適化より先に原因を修正します。

9. 小さく導入し、提供条件と費用を確認する

9.1 社内手続きエージェントなら、この順で組み合わせる

次は、規程を検索して申請を登録するエージェントの設計例です。具体的な合格しきい値は、業務リスクと人のレビュー結果を基に決めます。

  1. 少量の固定ケースを作る。正常、入力不足、対象外、ツール失敗を用意し、人が期待結果を確認する。
  2. 過程と結果を採点する。Rubric と、対応する RAG・ツール・安全性評価器を選ぶ。まず Individual turns で失敗を切り分け、複数段階の達成は会話対応の評価器で確認する。
  3. 人の判断と敵対的テストを加える。Human Evaluation で業務上の違和感を拾い、対応条件を満たす範囲で AI Red Teaming を行う。
  4. 本番の2系統を用意する。固定ケースの定期評価と、実トラフィックの継続評価を設定する。
  5. 失敗を次の回帰ケースにする。トレースと行別結果で原因を調べ、必要に応じ optimizer も使い、未使用ケースを含めて再評価する。

単発評価のポータルでの基本経路は Evaluation → Create → 対象 → 単位・データ → フィールド対応付け → 評価器 → Submit です。既存回答の採点から始めるなら Dataset、エージェントを動かす回帰評価なら Agent を選びます。[^portal-evaluation]

SDK は azure-ai-projects と AIProjectClient.get_openai_client() のクラウド評価手順から始めます。データ生成などは機能別の最低版があるため、使用言語・SDK 版・サンプルを合わせて確認します。[^cloud-evaluation][^synthetic-datasets]

9.2 GA・プレビュー・権限を一括りにしない

確認基準日: 2026-11-17。テキスト類似度の6指標には GA の明記がありますが、会話全体・画像・音声のポータル評価や Rubric・合成・カスタム評価器などはプレビューです。[^textual-similarity][^portal-evaluation][^built-in-evaluators]

プレビュー機能の具体的な使い分け・入力要件・制約はプレビュー機能編で詳述します。未明記の提供状態を GA とみなさず、Human Evaluation や Agent optimizer なども個別に確認します。

権限はユーザー・アプリと、プロジェクトのマネージド ID を分けます。Foundry User は旧 Azure AI User に相当します。モデル推論にはアカウント側、トレースには Application Insights / Log Analytics 側の権限も必要で、プロジェクト参加だけでは不十分です。[^evaluation-permissions]

リージョンは評価・データ生成などの機能で異なります。AI Red Teaming は概説と一覧にも掲載地域の差があるため、ここでは断定的に列挙しません。 リスク分類・ツール・実行経路を決め、導入先で可否を確認してください。[^evaluation-regions][^red-teaming]

9.3 対象モデルと採点側の費用を分ける

評価 run の Target tokens は対象側、Evaluation tokens は採点側の消費です。モデル対象の推定コストが表示されても、それは評価器のモデル利用や評価ランタイム費用を含む総額ではありません。[^evaluation-results]

見積もりでは、対象の再実行、judge model、模擬ユーザーやデータ生成、最適化候補の反復、Application Insights の保持・取り込みを分けて確認します。評価器や候補を増やすほど何が何回動くかを把握し、継続評価の上限も設定します。

なお、公式の Observability 概説は Playground の評価が既定で有効で、従量課金に含まれると説明しています。不要なら Playground の Metrics から評価器の選択をすべて外す手順も示されています。「試しているだけだから無料」とは判断しないでください。[^observability]

本稿は特定テナントでの動作検証や費用の実測ではありません。提供条件、ネットワーク、保持方針、料金は利用環境で確認してください。

10. まとめ

自動評価で比較し、人手評価で基準を校正し、AI Red Teaming で失敗を探索するのが基本です。対象・単位・評価器・実行タイミングを分け、固定ケースの回帰評価と本番の継続評価を組み合わせます。

行別結果・トレース・Cluster Analysis で原因を調べ、修正や Agent optimizer の候補を再評価します。何を直し、本当に改善したかまでつなげることが、各機能を組み合わせる目的です。

11. 参考情報

[^observability]: Observability in Generative AI — Microsoft Learn(確認日: 2026-11-17)

[^evaluation-overview]: Evaluation in Microsoft Foundry — Microsoft Learn(確認日: 2026-11-17)

[^rubric]: Rubric evaluators — Microsoft Learn(確認日: 2026-11-17)

[^built-in-evaluators]: Built-in Evaluators Reference — Microsoft Learn(確認日: 2026-11-17)

[^cloud-evaluation]: Introduction to cloud evaluation with Microsoft Foundry SDK — Microsoft Learn(確認日: 2026-11-17)

[^model-benchmarks]: Model benchmarks and leaderboards in Microsoft Foundry — Microsoft Learn(確認日: 2026-11-17)

[^portal-evaluation]: Run evaluations from the Microsoft Foundry portal — Microsoft Learn(確認日: 2026-11-17)

[^evaluation-datasets]: Evaluation datasets in Microsoft Foundry — Microsoft Learn(確認日: 2026-11-17)

[^synthetic-datasets]: Generate a synthetic evaluation dataset — Microsoft Learn(確認日: 2026-11-17)

[^conversation-simulation]: Simulate conversations with the Microsoft Foundry SDK — Microsoft Learn(確認日: 2026-11-17)

[^traces-to-dataset]: Convert agent traces into evaluation datasets — Microsoft Learn(確認日: 2026-11-17)

[^textual-similarity]: Textual Similarity Evaluators for Generative AI — Microsoft Learn(確認日: 2026-11-17)

[^rag-evaluators]: Retrieval-Augmented Generation (RAG) Evaluators for Generative AI — Microsoft Learn(確認日: 2026-11-17)

[^agent-evaluators]: Agent Evaluators for Generative AI — Microsoft Learn(確認日: 2026-11-17)

[^custom-evaluators]: Custom Evaluators — Microsoft Learn(確認日: 2026-11-17)

[^openai-graders]: Azure OpenAI Graders for generative AI — Microsoft Learn(確認日: 2026-11-17)

[^human-evaluation]: Human Evaluation for Microsoft Foundry Agents — Microsoft Learn(確認日: 2026-11-17)

[^red-teaming]: AI Red Teaming Agent — Microsoft Learn(確認日: 2026-11-17)

[^monitoring]: Monitor agents with the Agent Monitoring Dashboard — Microsoft Learn(確認日: 2026-11-17)

[^evaluation-results]: See Evaluation Results in Microsoft Foundry portal — Microsoft Learn(確認日: 2026-11-17)

[^cluster-analysis]: Evaluation Cluster Analysis — Microsoft Learn(確認日: 2026-11-17)

[^agent-optimizer]: Agent optimizer in Foundry Agent Service overview — Microsoft Learn(確認日: 2026-11-17)

[^evaluation-permissions]: Set up permissions for Microsoft Foundry evaluation workflows — Microsoft Learn(確認日: 2026-11-17)

[^evaluation-regions]: Rate limits, region support, and enterprise features for evaluation — Microsoft Learn(確認日: 2026-11-17)