エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
進化的アルゴリズムをもちいたChatVector加算の最適化|はち
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
進化的アルゴリズムをもちいたChatVector加算の最適化|はち
はじめにこれまで何度かChatVectorやそれに類することを施行してきましたが、元のモデル+ChatVectorの加... はじめにこれまで何度かChatVectorやそれに類することを施行してきましたが、元のモデル+ChatVectorの加算はいつも1:1で実施してきました。それでもある程度上手くいっていましたが、この加算比率をSakanaAIのEvoLLMのように最適化するということができるらしいです。 ただ、調べた限りコードが落ちていなかったので自分なりに調べて試してみたというのが本記事の内容になります。 1. ライブラリの準備とりあえずGoogle Colabで試しました。 進化的アルゴリズムを使用するために、optunaとcmaesをinstallします。 (その他はLLMを動かす用) !pip install optuna cmaes openai !pip install -U accelerate transformers !pip install torch datasets2. モデルとCh