J7c75QyFb4"

暮らしカテゴリーの変更を依頼記事元:

twitter.com

1 userがブックマークコメント

記事へのコメント1件

注目コメント
新着コメント

misshiki “知識の大部分が低い層にあることを示唆する。学習手法やモデル設計の参考にも”

自然言語処理

2024/03/28 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Ftwitter.com%2Fhillbig%2Fstatus%2F1773110076502368642" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://twitter.com/hillbig/status/1773110076502368642">Daisuke Okanohara / 岡野原 大輔 on X: "学習済みのLLMから、層毎に入力と出力間のcos類似度が大きい層（変化が少ない層）を間引いても精度は落ちない。特に最後の層だけ除いて深い側の層を2~4割間引いても質問応答などの精度は変わらず、知識の大部分が低い層にあることを示唆する。学習手法やモデル設計の参考にも https://t.co/J7c75QyFb4"</a><a href="https://b.hatena.ne.jp/entry/s/twitter.com/hillbig/status/1773110076502368642">はてなブックマーク - Daisuke Okanohara / 岡野原 大輔 on X: "学習済みのLLMから、層毎に入力と出力間のcos類似度が大きい層（変化が少ない層）を間引いても精度は落ちない。特に最後の層だけ除いて深い側の層を2~4割間引いても質問応答などの精度は変わらず、知識の大部分が低い層にあることを示唆する。学習手法やモデル設計の参考にも https://t.co/J7c75QyFb4"</a></div></iframe>