エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
mergekit でモデルマージを試してみる
こんにちは、初めましての方は初めまして。株式会社 Fusic の瓦です。暑い。まだ六月なのに本当に暑いで... こんにちは、初めましての方は初めまして。株式会社 Fusic の瓦です。暑い。まだ六月なのに本当に暑いです。でも六月にクーラーを付けるのは負けな気がする… そう思って扇風機で我慢している今日この頃です。 暑いといえば、最近の LLM 系周辺ではモデルを組み合わせて性能を向上させるモデルマージという方法の話題が熱いです。モデルマージはその名の通り、「モデルをマージして(=くっつけて)新しいモデルを作る」方法を指します。例えば複数のモデルのパラメータの平均を新しいモデルのパラメータとして精度を向上させたり[1]、ベースモデルを対話できるように学習させた後、そのパラメータの差分を別のモデルに加えることで学習せずに対話能力が付与したり[2]といった方法が提案されています。 この記事では、そんなモデルマージを簡単に試せるライブラリ mergekit[3] を使ってモデルのマージを試してみようと思いま