Docker Model Runner登場、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから選んで簡単に導入、実行可能に

Docker Desktop 4.40の新機能として、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから取得し、ローカル環境にインストール、簡単に実行できる「Docker Model Runner」β版が登場しました。 Docker Model RunnerはNVIDIA GPUとApple SilliconによるGPUアクセラレーションに対応。インストールされた大規模言語モデルは、事実上の標準的なAPIとなっているOpenAI API経由でアクセスできます。 これにより、従来手間のかかるライブラリの導入や環境設定が求められていた大規模言語モデルの導入が手間なく簡単にできるようになり、入れ替えも容易で、すぐに生成AIを活用したアプリケーションの開発に取りかかれるようになります。 OCIアーティファクトで大規模言語モデルをパッケージング Docker Model

[tmatsuu]

Docker社のblogを確認したところllama.cppベースの模様。なるほどですね

[misshiki]

“Docker Desktop 4.40の新機能として、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから取得し、ローカル環境にインストール、簡単に実行できる「Docker Model Runner」β版が登場”