MCPサーバーを安全に動かすための工夫
現在普及しているStdioServerTransport型MCPサーバーの使用方法は設定ファイルにnpxやuvxコマンドを記述する。これはその場でダウンロードしたスクリプトファイルを実行することを意味する。 https://code.visualstudio.com/docs/copilot/chat/mcp-serversしかしこの実行方式は開発者には悪名高いソフトウェアのインストール手順「curlしてbash（URLでダウンロードしてきたシェルスクリプトをパイプしてノールック実行）」を思い出させる。「curlしてbash」なら単一の信頼した配布元を基準に判断できるがnpxやuvx方式は依存するライブラリも芋づる式に参照してくる。つまり任意のコードをどこかの経路（MCPサーバー本体でなくその内部の別の依存ライブラリかもしれない）を通じて実行される可能性は残る。 curl | bash
Docker Model Runner登場、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから選んで簡単に導入、実行可能に
Docker Desktop 4.40の新機能として、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから取得し、ローカル環境にインストール、簡単に実行できる「Docker Model Runner」β版が登場しました。 Docker Model RunnerはNVIDIA GPUとApple SilliconによるGPUアクセラレーションに対応。インストールされた大規模言語モデルは、事実上の標準的なAPIとなっているOpenAI API経由でアクセスできます。 これにより、従来手間のかかるライブラリの導入や環境設定が求められていた大規模言語モデルの導入が手間なく簡単にできるようになり、入れ替えも容易で、すぐに生成AIを活用したアプリケーションの開発に取りかかれるようになります。 OCIアーティファクトで大規模言語モデルをパッケージング Docker Model
Docker and Hugging Face Partner to Democratize AI | Docker
Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
