同一学習済みモデルに追加学習したものは学習内容ベクトルの足し算引き算が出来るっていう件で、実際に英語チャット学習を日本語モデルに足した実験。実際に出来てるのほんとすげえ！となる。

stealthinu のブックマーク 2024/04/04 21:01

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4750931586839617824/comment/stealthinu" data-user-id="stealthinu" data-entry-url="https://b.hatena.ne.jp/entry/s/qiita.com/jovyan/items/ee6affa5ee5bdaada6b4" data-original-href="https://qiita.com/jovyan/items/ee6affa5ee5bdaada6b4" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fqiita.com%2Fjovyan%2Fitems%2Fee6affa5ee5bdaada6b4" data-user-icon="/users/stealthinu/profile.png">Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/deeplearning">deeplearning</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/LLM">LLM</a>]</li></ul><br><p style="clear: left">同一学習済みモデルに追加学習したものは学習内容ベクトルの足し算引き算が出来るっていう件で、実際に英語チャット学習を日本語モデルに足した実験。実際に出来てるのほんとすげえ！となる。</p><a class="datetime" href="https://b.hatena.ne.jp/stealthinu/20240404#bookmark-4750931586839617824"><span class="datetime-body">2024/04/04 21:01</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita

qiita.com/jovyan2024/03/21

はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages という論文では、LLMの学習済み重みパラメータの足し引きによって、事前学習済みモデ...

28 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita

はてなブックマーク

公式Twitter

はてなのサービス