こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は大規模言語モデルをシングルGPUで動かせるという噂のFlexGenについて使ってみて紹介したいと思います。 FlexGenとは FlexGenは、大規模言語モデル(LLM: Large Language Model)をシングルGPU(例えば、16GBのT4や24GBのRTX3090)で実行可能な高スループットな生成エンジンです。 以下がGitHubになります。 FlexGenは、Meta社が開発したOPT(Open Pre-trained Transformer)を動かすことができ、実際にAIアシスタントと会話することができます。 参考までにOPTに関する論文は以下です。 使用環境 Google ColaboratoryのPro環境を使います。モデルのアーキテクチャによって動作させるスペック
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては「ちょっと沸きすぎ」のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も「FlexGen」と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを「従来の100倍高速に動かせる」上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次: 「Google翻訳」と「大規模言語モデル」は技術的にかなり近い 会話AIの正体とは何か ChatGP
最近のコンプライアンス至上主義みたいな状況を考えると、世のマネージャーはきっと、いろんな武器を失ったと思う。叱責すればパワハラ。冗談を言えばセクハラ。価値観を語ればマタハラ。そのほかにもたくさんハラスメントは落ちているので、よくよく勉強したほうがいい。知れば知るほど、発言や行動は慎重になっていくはずだ。 現在のレギュレーションを踏まえていくと、きっと指導したり注意したり、ということについて、相手を傷つけないようにする前提がある。 「なんでこうしないんだ!」 はもう0点である。そもそも「!」は仕事にあんまり使うもんじゃない。 上司の「!」は、凶器にもなる。言わない方がましだ。 「なるほど、こうすると、もっとよくなるね。」 と伝えないといけない。 窮屈だが最も安全だ。安全を続けるしかマネージャーにはないのだ。世の高級官僚は失言で一発退場だが、一般市民も油断できない。安全を積み重ねることのほうが
エンジニアからのFIRE生活をどう考えるか 定年まで好きな仕事を続ける方がいます。一方で、変化の激しい時代にあって、本来の希望する部署とは違う、配置転換を経験する方もいます。また、自ら違う道を選択する人もいますね。 いずれにしても、ある程度の金融資産があれば余裕をもって変化を受け止め、自分で道を切り拓くことも可能です。そういう意味では、変化に富む時代にあって、仕事と同時に投資をすることは自己防衛の最適手段とも言えるでしょう。 さて、今日は元エンジニアの方からのFIRE相談を頂戴しています。 元エンジニアですが、FIREを具体化しようと思います。 昨年からブログ、YouTubeを拝見させていただいております。 私は、もうすぐ56歳になる大手電気メーカーのサラリーマンです。完済済の一戸建てに、パートをしている妻と二人で住んでいます。 もともとはエンジニアだったのですが、リーマンショックの業績悪
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く