デロイト トーマツ コンサルティングは2024年4月4日、特定の用途に特化した大規模言語モデル（LLM）をファインチューニングによって開発するSIサービスを発表した。個別企業や特定ドメイン（事業活動領域）に特有の語彙や文脈、ニュアンスを学習させてカスタマイズしたLLMを提供する。
デロイト トーマツ コンサルティングは、特定の用途に特化した大規模言語モデル（LLM）をファインチューニングによって開発するサービスを開始した。個別企業や特定ドメイン（事業活動領域）に特有の語彙や文脈、ニュアンスを学習させてカスタマイズしたLLMを提供する。開発したLLMは、オンプレミスで運用可能である（図1）。
図1：特化型LLM開発サービスの特徴（出典：デロイト トーマツ コンサルティング）拡大画像表示
複数ベンダーのLLMを検証し、ユーザーのニーズに適した特化型LLMを開発する。デロイト トーマツでは、ベースとなるLLMについて、クローズドモデルとオープンモデルも含めてパラメータ数やバージョンによる違いを比較・検証し、開発のノウハウを蓄積しているという。ファインチューニングについては、LLM自体のウェイトを書き換えるフルファインチューニングと、メモリーの消費量を抑えながら効率的に学習するPEFT（Parameter-Efficient Fine Tuning）を比較し、より適した手法を見出す。
「広く普及しているChatGPTなどの汎用LLMは、インターネット上の公開情報などで訓練されており、一般的な言語パターンを理解している。それゆえ個々の業務・事業への理解が深いとは言えず、企業における適用範囲が限定的であること、専門用語への理解が不可欠な金融や医療などの業界での導入が進んでいないことなどの課題がある。また、プライバシーやデータセキュリティの観点から、クラウド提供型の汎用LLMの利用が困難な業種・業界もある」（同社）
特化型LLMに加えて、企業のデータをナレッジとするRAG（Retrieval-Augmented Generation：検索拡張生成）構成のシステムを提供する。すでに汎用LLMとRAGを利用しているユーザーに対しても、特化型LLMとの使い分けや組み合わせによって、企業のニーズに適したシステムを提案・構築する。
