ラックは2024年2月20日、脆弱性診断サービス「生成AI活用システム リスク診断」を提供開始した。生成AIを用いるシステムを対象に、「プロンプトの悪用による機密情報の窃取」や「不適切なコンテンツの表示」といった生成AI特有の脆弱性の有無を評価して改善点をレポートする。
ラックの「生成AI活用システム リスク診断」は、生成AIを用いるシステムを対象にした脆弱性診断サービスである。生成AI特有の脆弱性の有無を評価して改善点をレポートする（図1）。
図1：「生成AI活用システム リスク診断」を用いることによって発見可能な問題点の例（出典：ラック）拡大画像表示
「生成AIを組み込んだシステムは、AIを欺くために設計された敵対的な攻撃（プロンプトインジェクション）に対して脆弱であるなど、特有のセキュリティ課題が存在する」（ラック）ことに対処する。
「プロンプトの悪用による機密情報の窃取」「不適切なコンテンツの表示」「内部的に設定されたプロンプトなど知的財産の窃取」「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などを評価する。表1は、同サービスの評価項目である。
| 脆弱性 | 脆弱性の説明 |
|---|---|
| プロンプトインジェクション | システムの設定を回避して、モデルに学習されている機密情報やシステム情報を窃取される脆弱性 |
| ジェイルブレイク | システムに設定されたポリシーを回避して、不適切なコンテンツ（攻撃的、または有害なコンテンツ）を回答する脆弱性 |
| プロンプトリーク | システムの内部で設定されているプロンプトを窃取される脆弱性。内部のプロンプトは企業の知的財産として保護する必要がある |
| 大規模言語モデル出力の改竄 | 大規模言語モデル（LLM）の出力を改竄することで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性 |
| プロンプトの大量入力によるサービス拒否 | 繰り返し大量のプロンプトを機械的に入力することで、システムを不安定にしたり、大量のトークンを消費させ過剰な料金請求が発生したりする脆弱性 |
また、ラックでは、Webアプリケーションの安全性を攻撃者の視点から調査する「Webアプリケーション診断」、クラウド環境の潜在的な設定ミスや脆弱性の見落としを発見・修正する「クラウドセキュリティ設定診断」などの既存サービスと生成AI活用システム リスク診断を合わせた、システム全体の脆弱性診断にも対応する。
