vLLMでマルチノードを推論した話【ray使用】 - Qiita
1. 初めに の記事の続きとなります。 vLLMでRayを使用したマルチノード推論実施方法について共有できればと思います。 2. ノードの概念とマルチノードの必要性について ここでは、ノードの概念について説明したいと思います。 ノードは簡単に言うと物理的なマシンのことです。例えば、下記の図をイメージしていただければと思います。 簡単に言うと、「1マシンを1ノードにして分かりやすくしよう」という概念です。 ここで考えて頂きたいのが、1マシン(1ノード)に乗り切らない場合です。 その際の解決策として複数のマシン(ノード)を使用する方法があります。これをマルチノードと呼びます。 3. rayについて マルチノードを扱うことが出来るライブラリの1つとしてrayがあげられます。 rayは、複数のノード(マシン)にまたがって処理を実行するためのフレームワークの1つなので、今回の推論ではこちらのライブラ
LLM開発コンペ2025参戦記: マルチノードで動かすvLLM そのハマりどころと要点 - Qiita
TL;DR 東京大学松尾・岩澤研究室主催のLLM開発コンペ2025における評価班の取り組みについて説明します。参加したRAMENチームはなんと予選通過を果たしました。そこで得た、LLMモデルをHPCクラスタ（マルチGPU/マルチノード）環境下でモデル評価ツールvLLMを動かすための注意点を列挙。原因・背景も記載したので、できれば機序を理解しつつFIXにご利用ください。 はじめに 今年2025年 東京大学松尾研が主催する松尾研LLM開発コンペ2025に参加しました。昨年 Geniac2024の枠組みで実施された松尾研LLM開発コンペでは当時最新のモデルに劣らない性能の「Tanuki-8×8B」が開発・発表され話題となったことは記憶に新しいところです。 今回参加した松尾研LLM開発コンペ2025ではチームRAMENに参加させていただき、開発モデル評価を行う評価を担当しました。そこではvLLMを
高速な研究開発を支えるGPU計算機環境 - クックパッド開発者ブログ
研究開発部の染谷 ( @ayemos_y ) です。好きな ImageNet のラベル(Synset)は "Eccentric, eccentric person, flake, oddball, geek" です。 クックパッドの研究開発部は2016年7月に発足し、現在はアルバイトを含め13名の体制となっています。その中で、こちらの記事でも紹介されている料理／非料理判別モデルを開発するなど、機械学習／ディープラーニング分野に特に力を入れて取り組んでいます。 最近は、モデルを開発し改善する手法などについて多くの情報にアクセス出来るようになり、このような技術をプロダクトに応用していきたいという気持ちが高まっている現場が多いかと思います。しかし一方で、分析の為のデータへのアクセスや画像認識モデルの実装や実験を行うためのGPU環境の整備など、現場の都合に対応するコストによって開発の勢いが鈍化して
CUDA grep
A Hardware Accelerated Regular Expression Matcher Manish Burman Brandon Kase SUMMARY We successfully created a parallel regular expression matcher using CUDA for GPUs. Our implementation is anywhere from 2x-10x faster than grep depending on the workload and about 68x faster than the perl regex engine. We think that this makes it a viable candidate for use in the real world. BACKGROUND Regular expr
srad.jp
We’re getting things ready Loading your experience… This won’t take long.
ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 - bohemia日記
前回、おそ松さんたちをディープラーニングで見分けるため、準備編としておそ松さんたちの顔画像を5644枚集めました。 今回はそれを用いて、ディープラーニングで学習させ、判別器を作って検証します。 集めた画像 人物 枚数 例 おそ松 1126 から松 769 チョロ松 1047 一松 736 十四松 855 とど松 729 その他 383 使用フレームワーク 最近GoogleからTensorFlowという新しいディープラーニングのフレームワークが発表されました。 会社のブログに使い方書いたのですが、まだ慣れていないので、今回はchainerを使います。こちらだとすぐに高い成果を上げているImageNetのNINモデル、４層畳み込みニューラルネットワークがサンプルで入っていますので、こちらを改良して使います。 imageNetの使い方は、こちらやこちらを参考にしています。 訓練データセット Im
scryptがGPUに破られる時 | びりあるの研究ノート
一般的によく知られている SHA-256 や MD5 などのハッシュ関数は非常に単純な設計となっており、非力なパソコンや組み込み機器、スマフォなどでも高速に計算できます。 しかしながらその一方で、ハッシュ関数を手当たり次第に計算し、もとの入力値を復元するいわゆる「ブルートフォース攻撃」が容易であるというデメリットがあります。 特にこのような SHA-256 や MD5 といったハッシュ関数は、GPU を用いるか、もしくは専用のハードウェア (FPGA もしくは ASIC) を製作することで非常に高い効率で計算（攻撃）ができてしまうことが知られています。 そのため、GPU ないし専用ハードウェアを用いたとしても、攻撃効率の改善が難しくなるような新たなハッシュ関数がいくつか提案されています。 その中で比較的古く (2012年ごろ) に開発され、他のハッシュ関数にも影響を与えている「scrypt
Deep Learning のフレームワーク Chainer を公開しました - Preferred Networks Tech Blog
こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。 Python のライブラリとして提供（要 Python 2.7+） あらゆるニューラルネットの構造に柔軟に対応 動的な計算グラフ構築による直感的なコード GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能 ニューラルネットをどのように書けるか 次のコードは多層パーセプトロンの勾配を計算する例です。 from chainer import FunctionSet, Vari
フルパワーで加速するGPUの咆哮を聞け!最先端GPUでPostgreSQLを20倍高速化!?:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
GPUってあるだろ? グラフィックス・プロセッシング・ユニット。 コンピュータの中で最も高速な部品はなんといってもGPUだ。 たとえばnViditaの最新SoCであるTegra K1。 CPU部は単精度で73.6ギガFLOPS(フロップス)、だがGPU部は364.8ギガFLOPSだ。 これが30万円する最新のGPUボード、GeForce GTX TITAN Zになると、なんとびっくり、8テラFLOPSだ。 これはIntelの最高級IA-64チップ、Xeon ES-2687Wの198.4ギガFLOPSを大きく上回る。 Core i7は92ギガFLOPSに過ぎない。 ちなみにかつて数億円したスーパーコンピュータ、Cray-2はわずか1.9ギガFLOPSに過ぎず、今のコンピュータがどれだけ速いか窺い知れる。JAMSTECの地球シミュレータは131テラFLOPSだが、追いつかれるのは時間の問題だろ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUなしで動作する軽量なAI OCRツール「NDLOCR-Lite」、国会図書館のラボから無償公開／コマンドライン版に加えWindows/Mac/Linux対応のデスクトップ版を用意
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8e89ff87e862584cef368e0c82b120261975b651/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
snort_gpu2.dvi
https://www.semanticscholar.org/paper/GPU-acceleration-of-regular-expression-matching-for-Yu-Becchi/20ee61caa108938c2252dbefafb926f3d481465b
https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.727.2153&rep=rep1&type=pdf
Pattern Matching
http://www-ikn.ist.hokudai.ac.jp/~sasakawa/drafts/sasakawa_DEIM2013_draft.pdf
Gregex: GPU Based High Speed Regular Expression Matching Engine
NVIDIA On-Demand
https://dl.acm.org/citation.cfm?id=2482791
近似正規表現マッチングアルゴリズムのGPGPU実装およびFPGA実装と比較 | CiNii Research