さらに進む、AIモデルの小型高性能化 AIモデルの高性能化と小型化の流れが加速している。メタが2024年7月にリリースしたLlama 3.1 405B(4,050億パラメータ)と、その5カ月後にリリースされたLlama 3.3 70B(700億パラメータ)の性能を比較すると、その進化の速さが見て取れる。 Llama 3.1 405Bは基本的な言語理解力を測るMMLU Chatテストで88.6%のスコアを記録したが、パラメータ数が約6分の1のLlama 3.3 70Bも86.0%とほぼ同等の性能を示したのだ。 さらに、指示への追従性を測るIFEvalでは、Llama 3.3 70Bが92.1%とLlama 3.1 405Bの88.6%を上回る結果となった。プログラミングコードの生成能力を測るHumanEvalでも、Llama 3.3 70Bは88.4%と、Llama 3.1 405Bの89.
![Hugging Faceの最新小型AIモデル「SmolVLM」、ビジョン/テキストタスクで圧倒的コスト削減の可能性 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d835930feae634c273f9b67ca3bdeaf2ddea9c1/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2025%2F01%2Fshutterstock_2501992377.jpg)