日本の大規模言語モデル「Stockmark-LLM-100b」がハルシネーションを抑制

同モデルは、独自に収集したビジネスドメインの日本語データを中心に事前学習を行っており、日本語やビジネス、時事話題に精通しているのが特徴だ。さらに、AIが根拠のない嘘を答える「ハルシネーション」を大幅に抑止することに成功している。

従来の言語モデルではハルシネーションが問題視されていたが、ストックマークは「分からない」と答えさせることで、この課題を克服した。同社は「ビジネスシーンでも信頼して活用できる」と自信を見せている。

筆者が実際に試したところ、Stockmark-LLM-100bは誤った回答を示さなかった。ちなみに、他大規模言語モデルでも同様の検証をしたところ、正しく回答できた（ハルシネーションがなかった）のはOpenAIの最新モデルGPT4oとGemini1.5Proだけであった。ClaudeOpasやCommand R＋などでは誤った回答を示した。

Stockmark-LLM-100bの性能は高く評価されている。言語モデルの評価指標「VicunaQA Benchmark」では、Llama2やGPT-3.5を上回る点数を獲得した。また、日本語の推論速度においても、GPT-4-turboを上回る高速性を実現している。

同社の独自の質問セットでは正答率が9割を超えており、特定分野ではGPT-4-turboを上回る精度を持つと主張する。

なお、この開発は経済産業省とNEDOが主催する「GENIAC」プロジェクトの一環として、産総研との共同研究で行われた。国内の生成AI開発力強化を目指す取り組みの成果が、いち早く実を結んだ形だ。

ストックマークは、Stockmark-LLM-100bをオープンソース(MIT License)で公開し、誰でもダウンロードして利用できるようにしている。デモ版も用意されているため、気になる方はぜひチェックしてほしい。

【関連リンク】

・ハルシネーションを大幅抑止し専門的な質問にも正確な回答が可能な生成AI　ストックマーク 1,000億パラメータ規模の独自LLMを公開(Stockmark)
https://stockmark.co.jp/news/20240516