はじめに こんにちは。ELYZAの研究開発チームのSam (@SamPassaglia)、佐々木 (@hikomimo)です。 今年の3月に我々は、日本語に特化した700億パラメータの大規模言語モデル「ELYZA-japanese-Llama-2-70b」を開発し、日本語タスクにおいてグローバルモデルに比肩する性能を達成することに成功しました。 この際の知見は、今年6月にリリースした「Llama-3-ELYZA-JP」にも活かされています。 700億ものパラメータを持つ大規模言語モデルを開発することは国内でも前例が少なく、開発を通して多くの学びがあった一方で、思わぬ対応に迫られる場面も少なくありませんでした。 本記事では国内における大規模言語モデル開発のコミュニティに貢献するべく、「ELYZA-japanese-Llama-2-70b」の開発の過程で得られた知見を紹介いたします。 取り組み
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く