LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
横向きA4サイズの現代アート。霞が関の「ポンチ絵」はどうして生まれたか？ その知られざる使命とは｜narumi
「ポンチ絵」が大好きだ。 なかでも官公庁のつくるポンチ絵がいい。 細かく書き込まれた文字にフリーのイラスト素材、あちらこちらを向いた派手な矢印と吹き出し、関係性を示す線……。圧倒的な情報量がぎゅうぎゅうに詰め込まれた1枚の資料……。それこそが至高のポンチ絵だ。 言葉で説明していても、きっとこの魅力は伝わるまい。まずはご覧いただこう。 環境庁による名作「地域循環共生圏（日本発の脱炭素化・SDGs構想）」とにかくうつくしい。見とれるほどに。 デザインを学んだ人なら眉をひそめるかもしれない。だが、その複雑怪奇な魅力にはあらがえない――。 いったいなぜこんなものが生まれたのだろうか。誰がどうやってつくっているのか。なんのために…どんな意味があるのだろう？ わからないことだらけだ。 そこでこの記事では、官公庁のパワポ資料（いわゆるポンチ絵）の独特さ、ポンチ絵が生まれた背景とその使命について考察し、ポ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
