1. 初めに の記事の続きとなります。 vLLMでRayを使用したマルチノード推論実施方法について共有できればと思います。 2. ノードの概念とマルチノードの必要性について ここでは、ノードの概念について説明したいと思います。 ノードは簡単に言うと物理的なマシンのことです。例えば、下記の図をイメージしていただければと思います。 簡単に言うと、「1マシンを1ノードにして分かりやすくしよう」という概念です。 ここで考えて頂きたいのが、1マシン(1ノード)に乗り切らない場合です。 その際の解決策として複数のマシン(ノード)を使用する方法があります。これをマルチノードと呼びます。 3. rayについて マルチノードを扱うことが出来るライブラリの1つとしてrayがあげられます。 rayは、複数のノード(マシン)にまたがって処理を実行するためのフレームワークの1つなので、今回の推論ではこちらのライブラ

