フォルダー5の検索結果1 - 2 件 / 2件

• あとで読む

  Google Colab で Rinna-3.6B のLoRAファインチューニングを試す｜npaka

  • 12 users
  • note.com/npaka
  • テクノロジー
  • 2023/05/26

  「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。VRAMは14.0GB必要でした。 1. Rinna-3.6B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを行います。データセットは@kun1em0nさんの「k

  
• あとで読む

  Google Colab で OpenCALM-7B のLoRAファインチューニングを試す｜npaka

  • 7 users
  • note.com/npaka
  • テクノロジー
  • 2023/05/24

  「Google Colab」で「OpenCALM-7B」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。今回のファインチューニングには、VRAMは23.5GB必要でした。 1. OpenCALM-7B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「OpenCALM-7B」のLoRAファインチューニングを行います。データセットは@kun1em0nさんの「kunishou/databricks-dolly-15k-ja」を使わせてもらいました。 学習手順は、次のとおりです。 (1) メニュー「編集→ノートブ

  • モデル
  • あとで読む