AWSは2026年11月13日、Amazon SageMaker HyperPodの「Data Capture」で推論ログを集め、AIモデルの改善に使う構築例を公開しました。推論ログは、AIに渡した入力やAIが返した出力などの記録です。AWSの解説に使われている問い合わせは合成データで、実際の顧客問い合わせを使った成果ではありません。

構築例では、入力と出力の記録、誤りの発見、追加学習、修正効果の評価という「改善サイクル」を、1つの環境に組み込みます。必要なAWSサービスや実験結果に加え、個人情報を扱う際の注意点も示されています。

HyperPod Data Captureはエンドポイント・ロードバランサー・モデルPodの3層で推論情報を収集する

Data Captureは、AIモデルが回答や判定を返す際の通信をAmazon S3へ保存する機能です。開発者は、用途に応じて3種類の記録方法を組み合わせられます。

「SageMakerエンドポイント」層では、モデルを呼び出す窓口で、リクエストとレスポンスの内容を記録します。入力と出力を確認できるため、監査やModel Monitorによる監視に向いています。「ロードバランサー」層では、通信を振り分ける部分で、ステータスコード、処理時間、クライアント情報などを記録します。通信の内容そのものではなく、通信状況を示すメタデータを分析する用途に適しています。

「モデルPod」層では、実際にモデルを動かす処理単位であるPodの入出力とイベント情報を記録します。誤分類の原因調査や、再学習に使うデータの収集に利用しやすい方法です。AWSの例では、推論Podに通信を中継するプロキシや、OpenTelemetryによる情報収集機能を追加します。モデルの処理に添えて動かす補助処理を「サイドカー」と呼び、収集したデータをS3へ保存します。

複数の層で記録すると、同じ情報を重複して取得する場合があります。保存量と監査目的を考えて設定してください。モデルPodの記録には入力内容そのものが含まれる可能性もあるため、分析上の便利さだけでなく、記録する情報の範囲にも注意が必要です。

問い合わせ分類AIの改善は、ログ収集・Athena分析・ラベル付け・LoRA追加学習・比較評価の5工程

AWSの公式チュートリアルは、家庭用電化製品への問い合わせを分類する小型モデルを題材にしています。開発者は、まずData Captureで推論ログを保存し、データ分析サービスのAmazon Athenaで内容を調べます。AWSは、新たに追加したエアコン製品への問い合わせを、モデルが「その他」と誤分類する例を示しました。モデルが新たな商品名を十分に扱えない状況を、合成データで再現した実験です。

次に、開発者はSQLの規則を使って収集データに正解ラベルを付け、LoRAによる追加学習を実行します。LoRAは、モデル全体の重みを大きく変更せず、比較的少ない学習用パラメータで調整する方式です。

追加学習したモデルは、旧モデルとは別の推論エンドポイントへ配備します。開発者が新旧モデルに同じ評価データを入力し、結果を比較するまでが一連の工程です。学習して公開した後も、利用中に見つかった変化や誤りを、次の学習へ反映することを目指しています。

合成テスト280件の正答率は83.9%から100%へ改善、手書き24件では4件を誤分類

AWSは、学習に使わず評価用に取り分けた280件で、新旧モデルを比較しました。正答数は、追加学習前の235件(83.9%)から280件(100%)へ改善しています。新製品カテゴリーの40件は、修正前にはすべて誤分類されましたが、修正後は40件すべて正答しました。

ただし、学習と評価には同系統の方法で作った合成データを使っています。独立した実顧客データでの成功率を示す数字ではありません。人が別途書いた24件のうち、正しく分類できた問い合わせは16件から20件への改善にとどまり、4件を誤分類しました。

公式記事には、製品名が含まれるだけで修理依頼と誤判定するなど、学習データの偏りが残ったことも書かれています。「Data Captureを有効にすれば精度が100%になる」とは読み取れません。

実装例ではEKS上のHyperPodとGPU2基を用意し、S3・Athenaの利用料金も発生する

AWSの構成例では、Amazon EKSで管理するSageMaker HyperPodクラスターを使います。クラスターは、複数の計算資源をまとめて運用する環境です。推論を管理する推論オペレーター、学習を管理するトレーニングオペレーターに加え、S3バケットとAthenaも利用します。

開発者は、推論中にGPUを使うPodとは別に、学習用GPUを確保する必要があります。AWSの実演では、推論用と追加学習用にそれぞれGPUを割り当て、合計2基を使っています。ただし、記事の構成例での台数であり、すべての処理に同じ台数や費用が必要という意味ではありません。

モデルPod側では、dataCapture.modelPod.enabledを有効にします。保存先のs3Uri、記録する割合、ためたデータを書き出す間隔、1回に扱うデータ(ペイロード)の最大サイズなども指定します。

APIの入出力を保存できても、監査に必要な情報を必ず取得できるとは限りません。保存内容のサンプルを確認してください。すべてのデータを記録すると、保存料金と情報管理の負担が増えるため、運用時は必要な記録割合を決めます。費用はHyperPodの計算資源に加え、S3の保存容量・リクエスト回数、Athenaが読み取るデータ量にも左右されます。

本番ログを再学習へ回す前に、個人情報の除去・保存期限・独立した評価データを確認する

顧客サポートへの入力には、氏名、住所、注文番号などが混在する可能性があります。AWSは、KMSによる暗号化、S3のライフサイクル管理、個人情報のマスキング、記録割合の制限などを対策として挙げています。別の目的で取得した会話を、無条件に再学習へ転用しないでください。利用規約、社内ポリシー、データの保存場所も確認が必要です。

Data Captureを使うと、問い合わせの記録から、AIが苦手とする内容を調べやすくなります。ただし、モデルを改善できたか判断するには、独立した評価データ、誤分類の分析、費用と応答速度の測定が欠かせません。

ログ収集による推論の遅延や保存コストは、記録割合・ペイロード・Pod数によって変わります。導入時は、収集を担うサイドカー処理も含めて負荷を測ってください。モデルの精度と運用費用の両方から、構成を評価する必要があります。