galoreの検索結果1 - 4 件 / 4件

• あとで読む

  GaLore - 家庭用ハードウェアでの大規模モデルの学習｜npaka

  • 21 users
  • note.com/npaka
  • テクノロジー
  • 2024/03/22

  以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため

  • LLM
  • 学習
  • あとで読む

  
• あとで読む

  4090でもLLMをゼロから事前学習できる手法「GaLore」、画面を見てトリプルAタイトルを完走できるAIなど重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge

  • 9 users
  • www.techno-edge.net
  • テクノロジー
  • 2024/03/11

  2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第37回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 24GBメモリの消費者向けGPUでも大規模言語モデルをゼロから事前学習できる可能性を示した手法「GaLore」、Metaなどが発表 1枚の画像から3Dモデルを高速生成するAI「TripoSR」、Stability AIなどが開発 Webページのスクリーンショットからコードを生成するAI「Design2Code」 さまざまなテストでGPT-4を超える、Anthropicの新型LLM「Claude 3」 画面を見てキーボードとマウスを自律的に操作するAI「CRADLE」、トリプルAタイトルで

  • 人工知能
  • techfeed
  • AI
  • あとで読む

  
• あとで読む

  7Bモデルをドメイン特化させる学習をLoRAとGaLoreで試し比較する｜oshizo

  • 9 users
  • note.com/oshizo
  • テクノロジー
  • 2024/04/13

  コーディングや医療など特定のドメインに特化させることで高い性能を発揮するモデルはドメイン特化モデルと呼ばれ、ベースモデルにドメインのコーパスを追加で学習させることで作成されます。 この図はベースモデルからドメイン特化のモデルを得るまでのフローです。本記事では赤枠で囲っている③のドメイン特化学習を試した内容を紹介します。 ドメイン特化モデルを得るまでのフローGaLoreについて2024/3に新しいLLMのファインチューニング手法GaLoreが公開されました。論文によれば、VRAM24Gのコンシューマ向けGPUで7Bモデルの事前トレーニング（図の①や②）もできる手法です。 使い方Transformersにはv4.39.0から組み込まれており、今までのトレーニングコードを変えずに、TrainingArgumentsにoptimとoptim_target_modulesを指定するだけで利用できます

  • あとで読む

  
• あとで読む

  4090でもLLMをゼロから事前学習できる手法「GaLore」、画面を見てトリプルAタイトルを完走できるAIなど重要論文5本を解説（生成AIウィークリー）（テクノエッジ） - Yahoo!ニュース

  • 3 users
  • news.yahoo.co.jp
  • テクノロジー
  • 2024/03/11

  24GBメモリの消費者向けGPUでも大規模言語モデルをゼロから事前学習できる可能性を示した手法「GaLore」、Metaなどが発表現在、LLMをゼロから学習するには、大容量のメモリを搭載したGPUが必要で、膨大な計算リソースを消費します。LLaMA 7Bモデルをゼロから学習するには、少なくとも58GBのメモリが必要とされています。ファインチューニング時のメモリ要件を減らす手法（例えばLoRA）は大きく進歩していますが、LLMの事前学習における有効性は限定的です。 この障壁を克服し、LLMの学習全体を通してメモリを大幅に削減する手法「Gradient Low-rank Projection」（GaLore）を考案しました。GaLoreは、完全なパラメータ学習を可能にしつつ、一般的なLoRA手法よりもメモリ効率のよい学習を実現します。 LLaMA 1Bと7Bのアーキテクチャを使い、最大19.7