以下の記事が面白かったので、簡単にまとめました。 ・Mistral NeMo | Mistral AI | Frontier AI in your hands 1. Mistral NeMo の概要「Mistral NeMo」は、Mistral AI と NVIDIA が共同で学習した 12Bの事前学習済み生成テキストモデルで、サイズが小さいまたは同等の既存のモデルよりも大幅に優れています。最大128Kトークンのコンテキストウィンドウを提供します。標準アーキテクチャを採用しているため、使いやすく、「Mistral 7B」を使用するあらゆるシステムで簡単に置き換えることができます。 研究者や企業での採用を促進するために、Apache 2.0の下で、事前学習済みのベースチェックポイントと指示チューニング済みのチェックポイントをリリースしました。「Mistral NeMo」は quantisat
![Mistral NeMo の概要|npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/a06f34bbd335be8ef8583a6155ffd3eed5474538/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F147756364%2Frectangle_large_type_2_13351a8f2007bfff9a1384981eef319b.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)