[市場動向]
Preferred Elements、1000億パラメータのマルチモーダル基盤モデルを開発へ
1兆パラメータLLMの事前学習も検証
2024年2月2日(金)日川 佳三（IT Leaders編集部）
Preferred Networks（PFN）子会社のPreferred Elements（PFE）は2024年2月2日、1000億パラメータのマルチモーダル基盤モデルの開発を始めると発表した。合わせて、1兆パラメータの言語モデルを開発するための事前学習について検証する。開発期間を同年2月15日～8月15日とし、開発成果として1000億パラメータのモデルウェイトやファインチューニング用コード、学習課題やノウハウを公開する予定。同社は複数の企業・行政機関と2024年中の利用開始に向けた検討・商用化の準備を進めている。
Preferred Elements（PFE）は、同社が開発済みの130億パラメータ（PLaMo-13B）を上回る1000億パラメータのマルチモーダル基盤モデルを開発する。事前学習と追加学習、指示学習、画像モーダル向けの事前学習と追加学習、音声モーダル向けの追加学習などを実施する。
経済産業省と新エネルギー・産業技術総合開発機構（NEDO）による生成AI開発力強化プロジェクト「GENIAC（Generative AI Accelerator Challenge）」の採択を受け、必要な計算資源の提供を得て開発を進める。
開発期間は同年2月15日～8月15日。1000億パラメータ基盤モデルの開発に加えて、1兆パラメータ言語モデルのための事前学習についても検証する。
開発成果として、1000億パラメータのモデルウェイトやファインチューニング用コード、学習課題やノウハウを公開する予定。同社は複数の企業・行政機関と2024年中の利用開始に向けた検討・商用化の準備を進めている。
