「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ Google DeepMindとミシガン大学の研究 | Ledge.ai

Top > 学術＆研究 > 「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ Google DeepMindとミシガン大学の研究

[pwatermark]

RAGで済みそうな場合はそれで終わらせ、無理そうならよりデカいモデルで頑張る、というアプローチ 考えられはするけど、どんな風に実装するのがいいかね

[minorusato]

Rag

[isrc]

リソースが十分に確保されている場合、LCがRAGを全体的に上回る性能を示したという。ただし、RAGは特に入力テキストがモデルのコンテキストウィンドウサイズを大幅に超える場合において、依然として有効である

[hirorinya]

LLMの細かい使い方による性能なんてh誤差

[shibainu1969]

学習量がある量を超えると飛躍的に性能が良くなるのがLLMと思っているので、そこに少量の学習データを組み合わせて性能が良くなる理屈が分からない。

[shodai]

“RAGとLCの長所を組み合わせることで、コストを削減しながらもLCに匹敵する性能を実現するハイブリッド手法「SELF-ROUTE」を提案した。”

[gfx]

"研究者たちは、RAGとLCの長所を組み合わせることで、コストを削減しながらもLCに匹敵する性能を実現するハイブリッド手法「SELF-ROUTE」を提案した"