大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は大規模言語モデルをシングルGPUで動かせるという噂のFlexGenについて使ってみて紹介したいと思います。 FlexGenとは FlexGenは、大規模言語モデル（LLM: Large Language Model）をシングルGPU（例えば、16GBのT4や24GBのRTX3090）で実行可能な高スループットな生成エンジンです。 以下がGitHubになります。 FlexGenは、Meta社が開発したOPT（Open Pre-trained Transformer）を動かすことができ、実際にAIアシスタントと会話することができます。 参考までにOPTに関する論文は以下です。 使用環境 Google ColaboratoryのPro環境を使います。モデルのアーキテクチャによって動作させるスペック
チャットGPTに驚いたのならFacebookのAIに腰を抜かすよ
チャットGPTが持つ対話エンジンに加えて計画エンジンも備えるシセロは高度な外交ゲームもできる Iaroslav Neliubov-Shutterstock ＜フェイスブックのAIシセロは、人間と交渉したり、人間を説得できる1?＞ ＊エクサウィザーズ AI新聞から転載 米AIベンチャーのOpenAIが2022年11月30日にリリースした対話型AIのChatGPTが人気だ。ユーザー数は急速に伸びており、1月にはアクティブユーザー数が1億人を超えた。その性能に多くの人が驚いたようだ。 言語系のAIモデルはどこも、この２、３年で大きく性能を伸ばしており、これからいろいろな言語系AIが登場すると見られている。 その一つがFacebookを運営するMeta Platformsが同じく11月に研究成果を発表したAIモデルのCICERO（シセロ）だ。 CICEROは、対話エンジンと計画エンジンの両方を持つ
Gitの内部構造をよく理解して、うまく使おう【基本の仕組みを解説】
対象読者 Gitをより深く理解したい方 Gitの自作に興味がある方 Gitの内部構造を学ぶ意義 Gitの使い方を知っている人でも、それぞれのサブコマンドが実際どういった挙動をしているか、ましてや内部構造がどうなっているかを学んだことがある人は少ないかもしれません。というのも、Gitが内部を知らなくとも十分使える優秀なツールになっているからだと思います。 しかし、Gitの内部実装を知ることで、コマンドの挙動を正確に理解できるだけでなく、Gitを使っていて何らかの問題が起きたときにも、自分で対処できるようになります。そうしたGitの地力を鍛えるために、内部構造の把握は重要な要素になってきます。 また、今回の内容を学べば、Gitの大枠を実装することもできてしまうので、興味がある方はぜひ挑戦してみてください。 Gitについての誤解 それでは、まずGitについて多くの人が誤解しているであろう点を挙げ
Rails 7 + Hotwireで実用的なSPAを作ってみた - Studyplus Engineering Blog
こんにちは、サーバーグループの市川です。モバイルクライアントグループに所属していましたが、バックエンドの開発を担当することが多くなったので、サーバーグループ異動にしました。 最近、Studyplusブックというサービスをリリースしました。Studyplusアプリ内で、200冊以上の参考書が読み放題で使えるサービスです。 このサービスの開発にあたって、社内向けの管理画面を新規に構築したのですが、Rails 7から標準でインストールされるHotwireを利用することにしました。 今回はHotwireを実際に利用する上で、どういったUIを作ればいいか試作しましたので、その話を書きます。 作った画面 書いたソースコード 使った技術 解説 Turboを理解する Turbo Frameでフレーム分割する 追加フォーム (Turbo Frame) 追加処理 (Turbo Stream) 編集フォームと更
Turbo Handbook
Introduction Turbo bundles several techniques for creating fast, modern, progressively enhanced web applications without using much JavaScript. It offers a simpler alternative to the prevailing client-side frameworks which put all the logic in the front-end and confine the server side of your app to being little more than a JSON API. With Turbo, you let the server deliver HTML directly, which mean
Red Data Tools - Rubyでデータ処理！
Red Data Toolsについて Red Data ToolsはRuby用のデータ処理ツールを提供するプロジェクトです。 私たちのポリシーです。 Rubyコミュニティーを超えて協力する 私たちはRubyコミュニティーとも他のコミュニティーとも協力します。たとえば、私たちは多くの言語が共通で使っているApache Arrowを使いますし、Apache Arrowの開発に参加して開発成果を共有します。 非難することよりも手を動かすことが大事 私たちは現状（RubyよりもPythonの方がたくさんよいツールが揃っているかもしれません）や既存ライブラリーの実装を非難することなどに時間を使うよりも、コードを書いたりテストをしたりドキュメントを書いたり私たちの活動を紹介したり他のプロジェクトにフィードバックをしたりといったことに時間を使います。 一回だけの活発な活動よりも小さくてもいいので継続的に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
