日本語生成AIの新たな進歩「Swallow」の登場｜PreBell

東京工業大学と産業技術総合研究所(AIST)は、強力な日本語生成AI、大規模言語モデル「Swallow」を開発し、公開した。これは、米・MetaのLLM「Llama 2（ラマツー）」の日本語能力を拡張するもので、商用利用も可能だ。 日本語対応の高性能なLLMは少なく、この開発は重要な進歩となる。日本語の能力を改善するために、東京工業大学が開発した大規模な「日本語ウェブコーパス（ウェブ上の日本語テキストを利用して構築されたコーパス）」を使用し、継続事前学習を行った結果、高い性能を示すことができた。 Swallowのパラメータ数は70億、130億、700億の3モデルが公開されており、それぞれがHugging Faceからダウンロード可能だ。Hugging FaceはAI・機械学習に特化したGitHubと、クラウド実行環境が合わさったサービスである。 Llama 2の日本語トークナイザ（文章を単