ゼロからRAGを作るならこんなふうに

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

[kekera]

DifyのDBどうにかならんかなと思ってましたが、今月中に対応がリリースされるというポストを見たので楽しみにしてる

[T-norf]

良記事だけど、入力 “GPT4o が $5 /1M token”は、2024/8/8に値下げがあって半額に下がってるよん。あと、GPT-4oの方が日本語のトークン効率が数割良く、出力/tokenも安くなった。あとはGraphRAG、リランキング以外まで手を出すか

[DropOutSurf_JOY]

gogole, GCP,

[hirorinya]

丁寧 学び

[misshiki]

“RAGを始めるという視点で、必要な技術選定を行うときの勘所をまとめ”自分の考えとオススメをちゃんと書いているのが個人的には良いと思う。

[xanaduuu]

NotebookLMが今のところ「こういうのでいいんだよ」の筆頭。ノートを他人と共有できるとズバ抜けて良いよね。

[cpw]

どれくらいのことができるのかイメージが欲しい。

[nunulk]

"最低限の構成でRAGを作る場合、必要なのは適切なLLMモデルにcontextやmessageを設定して、completionしてもらうだけです。各種ベクトルDBもRESTなendpointを持っていることがほとんどなので、別にLangChainは必要ありません。"

[TriQ]

勉強中

[skypenguins]

RAGをはじめからていねいに

[toyoshi]

ベクトルデータベースをどう更新していくかと考えるとDifyは良さそうと思ってた。Googleのでもやってくれそうだな。

[webooker]

ちょうどRAGを知ったところだったのでありがたい。

[minorusato]

RAG