LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース

OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。 今回リリースされた300Bチェックポイントは、既存の実装と広く互換性を持たせることを目的に、BOSトークンの影響を受けにくくしている。 トレーニングは、1.2兆を超えるトークンを含むLLaMAトレーニングデータセットを再現した、TogetherによるRedPajamaデータセットによって行われており、モデルアーキテクチャ、コンテキスト長、トレーニングステップ、学習率スケジュール、オプティマイザなど、元のLLaMAペーパ

[asuka0801]

“「LLaMA（Large Language Model Meta AI）」のライセンスに基づく” 商用利用出来ないなら現状MPT-7Bが最有力かな

[aox]

3000億って数えるだけでも大変ですね