2023.06.02 サイバーエージェント、日本語に特化した大規模言語モデルを公開

他の企業が同モデルを用いて生成AIの開発を進めることもでき、「和製AI」の開発競争に弾みがつく。

海外で開発が進む「Chat（チャット）GPT」などの生成AIは、英語を中心に学習しているものが多い。日本語での質問にも答えられるが、文章作成の精度にはまだ課題があった。

同社は、オンライン百科事典「ウィキペディア」やオンラインデータアーカイブを提供する「コモン・クロール」などのオープンソースを活用し、日本語データを学習させた。既存製品よりも日本語や日本文化に強い大規模言語モデルの開発に繋げた。

日本では日立製作所を始めとして、生成AIの開発に乗り出す企業が相次いでいる。ソフトバンクも生成AIの開発に向けた子会社を設立した。

大規模言語モデルの性能を示す指標としてパラメータがある。パラメータが高い方がより人間らしい文章を生成できる。サイバーエージェントが開発した大規模言語モデルは最大68億のパラメータを持つ。

米オープンAIが開発した生成AI「ChatGPT」の基盤には「GPT-3.5」と呼ばれる大規模言語モデルが使用されている。英語やフランス語などの言語を学習しており、パラメータ数は3550億と膨大だ。

他にも、海外ではパラメータ数の高い大規模言語モデルの開発が進む。NTTデータによると、Googleでは6000億パラメータの「GShard」、DeepMindでは2800億パラメータの「Gopher」を開発している。

海外の大規模言語モデルと比べて、サイバーエージェントのパラメータは低いが、同社は「日本語だけなら学習量として十分多い」と説明する。

【関連リンク】

・サイバー、大規模言語モデル公開　和製生成AI開発に弾み（日本経済新聞）
https://www.nikkei.com/article/DGXZQOUC15BUK0V10C23A5000000/?type=my#QAAUAgAAMA

TEXT：PreBell編集部
PHOTO：iStock