Apple SiliconでAIやっている人に朗報です。vllm-mlxが凄い。 - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近インパクトの大きいApple Silicon向けフレームワークが出現しました。「vllm-mlx」です。 一言で言うとvllmライクなインターフェースをApple Silicon向けに提供するもので、MacのGPU（Metal/MPS）アクセラレーションによるテキスト、画像、ビデオ、オーディオに対応してます。既存のmlx,mlx-lm,mlx-vlm,mlx-audioを全てvllmライクなインターフェース対応にします。今回はこのvllm-mlxの使い方を紹介します。 1. vllm-mlxの概要 特長： ・マルチモーダル - テキ

[otchy210]

そろそろ Mac 買い替えなのだが、奮発してメモリ盛るか悩むな…。

[misshiki]

vllm-mlxはApple Silicon向けのvLLMライクな推論フレームワーク。Metal/MPSによるGPUアクセラレーションで、マルチモーダルモデルを高速・省メモリ実行でき、OpenAI互換APIとしても利用可能。

[otakumesi]

M5のMac mini Proが早いところ出て欲しい

[cielonlon]

試してみるか？

[ihirokyx]

Metal GPUの性能を最大限引き出すvllm-mlxの出現で従来のフレームワークを発展的に統合出来る可能性も出てきた MLXの従来のフレームワークであるmlx-lm/mlx-vlmを継承しつつ、更に高パフォーマス（高速且つ省メモリ）化

[zgmf-x20a]

凄いこと言ってる。dgx sparkもう終わりとか… https://www.reddit.com/r/LocalLLaMA/s/CilUyjvrmC

[nguyen-oi]

MacでローカルLLM勢には待望のツールだな。Paged KV Cacheの恩恵でメモリ節約と高速化を両立できるのは普通に強いわ