LLMのファインチューニング で 何ができて 何ができないのか｜npaka

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ

[shodai]

“LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です。”

[gfx]

"LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です"

[isrc]

うまく機能するタスク／チャットの改善／指示に従いやすさの改善／モデル出力を任意の口調や文体に調整／モデル出力を任意の構造化データに調整／うまく機能しないタスク／事実の学習／幻覚の軽減

[etah]

LLMの冪乗法則も見つかった当初は嘘つけとか査読者に実験やり直せみたいに言われてたんで、そんなこといいつつ1000億例くらいから急激に記憶できるやんみたいになる可能性はある

[sh2]

そうすると企業内情報をモデル自体に蓄えたLLMっていうのは、並の企業には作れないってことか

[xjack]

いつも「男性が～」とか「女性が～」というタイトルには主語がでかいって突っ込みまくるくせに、主語が「LLMが～」を受け入れるのはなぜ。ハルシネーションの度合いはLLMのタイプによって異なりGPTは大きい部類。

[shields-pikes]

ほぼ同じ認識。クライアント企業の多くは、DeepLearning時代のAIの印象が強くて、ChatGPTでもやたらとファインチューニングをやりたがるけど、手間とコストがかかる割にあまり効果がない。プロンプトチューニングで良い。

[misshiki]

“LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です。” なるほど。事実の方はRAGとか「例の選択」（フューショット学習のこと？）とかする必要がありそう。

[ko-ya-ma]

> LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です

[shunkeen]

“LLMのファインチューニングは、「形式」の学習は効果的ですが、「事実」の学習は不得意です”／事実よりも形式…。SNSからランダム抽出した会話でファインチューニングしたBOTをSNSに放っても気づかれなさそう。

[takaya030]

ファインチューニング

[yarumato]

“「事実」を学習するタスクは、LLMのファインチューニングは不得意です。”

[ledsun]

面白いなあ。僕は、事実の学習はRAGよりファインチューニングの方が向いてると予想（期待）してた。逆なんだ