70Bモデルのホスティング
こんにちは、@ken11です。 今日はSpiral.AI株式会社のエンジニアブログとして、70BのLLMをホスティングした話をご紹介したいと思います。 70B 春先に「とりあえず6B、話はそれからだ」と言った人がいたような気もしますが、たしかに最近のLLMはパラメータ数が7B/13B/70Bというのが多いのではないでしょうか。 そうですね、Llama2をファインチューニングしたものも多いので、余計にそういったパラメータ数を見かけることが多くなった気がします。 さて、みんな大好きOpenAIのGPT-3.5が175BだとかGPT-4はおそらく500B~だとかいろいろ言われており、Llama2最大サイズの70Bでも遠く及ばないわけですが、それでも70Bは市場に出回っている(誰でも使える)モデルの大きさとしては現状最大級となっているわけです。 とはいえ実際に使おうと思うと、7Bですら結構な推論コ
ABCIの大規模言語モデル分散学習ハッカソンを振り返る
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
実験用 GPU 環境をどう準備したらいい？（非情報系が機械学習を使う研究をしたいとき） - 木曜不足
深層学習が著しく発展し、今まで人間にしかできないと思われていたことができるようになってきました。そのおかげで、今まで機械学習と縁が薄かった分野でも、機械学習を使った研究がしたいという声が上がるようになっています。 前々回は、それを裏付けるように非情報系の学生さんが機械学習を使った研究をしたいという応募がサイボウズ・ラボユースに増えているという話、前回はいままで機械学習や深層学習に縁のなかった人が何から勉強したらいいかという話を書きました。 今回はその続き、研究に必要な実験用 PC 環境をどのように準備したらいいかというお話です。 深層学習の実験をするには、十分な性能の GPU を積んだ PC が必要です。 今どきの機械学習関連の研究室では、院生有志がメンテナンスしている GPU のクラスタがあって、それを使わせてもらえることが期待できます。自分用の PC を手配する場合も、研究テーマに適し
オセロを速く解く話/solveothello
京大マイコンクラブの春合宿で、オセロを速く「解く」ことについて特化して話したスライドです。
趣味のTensorFlowのハードウェアとGPUクラウド事情 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 自分がやっていること、カジュアルディープラーニング TensorFlowで遊ぶために必要なハードウェア 自前PC編 クラウドサービス編 自分がやっていること、カジュアルディープラーニング もともとはカーネル主成分分析系統の理論で顔画像認識とかやったり諸々のコンピュータビジョンのあれこれでお仕事してたりしてました。最近はコンピュータビジョンのお仕事からは離れてフツーの開発をしています。 趣味でプログラミングもしていて今年はTensorFlowを始めました。TensorFlow将棋ソフト開発日誌 目次 という形で開発の経過を書いていま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
