70Bモデルのホスティング
こんにちは、@ken11です。 今日はSpiral.AI株式会社のエンジニアブログとして、70BのLLMをホスティングした話をご紹介したいと思います。 70B 春先に「とりあえず6B、話はそれからだ」と言った人がいたような気もしますが、たしかに最近のLLMはパラメータ数が7B/13B/70Bというのが多いのではないでしょうか。 そうですね、Llama2をファインチューニングしたものも多いので、余計にそういったパラメータ数を見かけることが多くなった気がします。 さて、みんな大好きOpenAIのGPT-3.5が175BだとかGPT-4はおそらく500B~だとかいろいろ言われており、Llama2最大サイズの70Bでも遠く及ばないわけですが、それでも70Bは市場に出回っている(誰でも使える)モデルの大きさとしては現状最大級となっているわけです。 とはいえ実際に使おうと思うと、7Bですら結構な推論コ
ABCIの大規模言語モデル分散学習ハッカソンを振り返る
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
MLC-LLM で Vulkan など Graphics API + C/C++ で LLM が流行ってほしいメモ
いきなり彗星のごとく(?)現れた MLC-LLM Vicuna-7b が iPhone でオンデバイスでうごく... いいね! とりま で cli サンプル試せます. 3090(160W powerlimit) での結果 cli サンプルでは word 単位での streamling ではないため, tokens/sec 推測しずらいですが, RWKV ほど爆速というわけではないものの, そこそこ実用的な速度にはできそう? あと日本語はダメダメでした. Tokenizer 書き直さないとダメかも? GPU メモリ消費は 3.5 GB くらいでした. しくみ Apache TVM をベースにしています. TVM, なんかあんまり流行って無い気もしていましたが, 着実に発展していたのですね. (MLIR はどうなるじゃろか... https://qiita.com/syoyo/items/6d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
