Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM(大規模言語モデル)をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ(2023年6月まで)も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
![最近の話題にも詳しい14億パラメータの日本語LLMの公開](https://cdn-ak-scissors.b.st-hatena.com/image/square/b478c78de2ab439753c3b5199281031f8c5c0dc1/height=288;version=1;width=512/https%3A%2F%2Ftech.stockmark.co.jp%2Fml%2Fthumbnail_202308_gpt_neox.png)