はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 業務でLLMを利用する場合に重要となっていくる事実を回答させるためのアプローチ。2024年1月のMicrosoftの『Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs』という論文でFine-Tuning に RAGが勝利したことが示されています。RAGを選択する根拠として活用できそうです。 結論 Fine-Tuning vs. RAG：MMLUと時事問題の両タスクの結果では、RAGに大きなアドバンテージがあった。 [MMLU Results] （引用元：論文）

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2023年7月に初版発行されたStephen Wolfram「ChatGPTの頭の中（WHAT IS ChatGPT DOING...AND WHY DOES IT WORK?）」で Wolfram|Alphaが紹介されていたのをきっかけに、Wolfram Alphaを含め生成AIの数学能力を補うにはどのようなものがあるか改めて整理してみました。 生成AIの数学能力の実力 GPTなど生成AIが人間よりも苦手とされてきた数学能力ですが、（基本的なレベルであれば）Gemini UltraやGPT-4（5-shot）などでは90%を超える能力

はじめに LoRAは、2022年に論文で紹介されている大規模言語モデルの効率的なファインチューニングを実現するための手法です。大規模言語モデル入門にも紹介されているのでLLMの基礎から学習するのであればこちらの本がお勧めです。 LoRAとそれ以外の代表的なチューニング手法との違いは以下のようになります。 LoRA（LOW-RANK ADAPTATION）： 少数の学習パラメータでタスクに対して調整するという考え方。 RAG（Retrieval-Augmented Generation）： 辞書的に外部の知識を与えてモデルに回答してもらうという考え方。 In-Context learning／Few-Shot Learningや、Promptエンジニアリング： モデルは十分な能力を備えているのでモデルからうまく回答を生成するという考え方。 LoRAの仕組み アプローチとしては、非常にシンプル