日本IBMは2023年12月4日、AIモデル作成・運用プラットフォーム「IBM watsonx」を構成するコンポーネント「watsonx.governance」を同年12月1日にSaaS型で提供開始したと発表した。インベントリ管理や評価・モニタリングなど、AIモデルのライフサイクルを管理する機能を提供する。
日本IBMの「IBM watsonx（ワトソンエックス）」は、企業向けのAIモデル作成・運用プラットフォームである。学習済みの汎用の基盤モデルを活用して、企業固有のAIモデルを作成可能である。Red Hat OpenShiftで動作し、オンプレミス/クラウド環境で利用する（関連記事：AIモデル作成ツール「IBM watsonx」、基盤モデルをベースに追加学習でチューニング）。
IBM watsonxは、AI構築・運用ソフトウェア「watsonx.ai」、データ整備ソフトウェア「watsonx.data」、ライフサイクル管理ソフトウェア「watsonx.governance」で構成する。2023年7月より順次提供を開始しており、今回、未提供だったwatsonx.governanceをリリースした。
watsonx.governanceの意義について同社は、「大規模言語モデル（LLM）をやみくもに活用すると、説明可能な出力が最終的に欠如してしまうリスクがある。AIのライフサイクルを可視化して、ガバナンスを効かせる必要がある。このために必要なツールキットを提供する」と説明する。
図1：watsonx.governanceの概要。AIモデルのインベントリ管理、リスクガバナンス、評価・モニタリングの3つの機能を提供する（出典：日本IBM）拡大画像表示
watsonx.governanceでは、3つの機能を提供する（図1）。(1)利用しているAIモデルの実態を把握するためのモデルインベントリ管理、(2)法規制やルールの遵守度合いを可視化するリスクガバナンス、(3)AIの精度劣化などを持続的に調べる評価・モニタリングである。
(1)モデルインベントリ管理では、AIモデルがいつ作られたのか、学習データはどこにあるのか、検証データの精度、デプロイの情報、などを管理する。Amazon SageMaker、Azure Machine Learning、Watson Machine Learningなど各種ベンダーのAIモデルを管理・監視する。
(2)リスクガバナンスでは、個々のAIモデルにおいて、法規制や社内ルールとのギャップがどれだけあるのかというリスクを、一元的に管理する。モデルの承認ワークフローの仕組みも提供する。
(3)評価・モニタリングでは、LLMの品質をモノタリングし、事前の定義と比べてどのくらいギャップがあるのかをスコアリングする（図2）。
図2：AIの精度劣化などを持続的に調べる評価・モニタリング機能の概要（出典：日本IBM）拡大画像表示
デモでは、住宅ローン承認モデルについてのモデルインベントリ管理と評価・モニタリング、保険金請求のためのプロンプトテンプレートについての評価・モニタリングの例を、実際のダッシュボード画面を示した。
