【完全ローカル】AIに記憶を持たせる5ステップ — Ollama×RAGでつくる長期記憶チャットボット - Qiita

はじめに こんにちは。開発部の雨です。 今回は、ローカル環境で動く「長期記憶付きチャットボット」をゼロから実装する方法を紹介します。 最初はシンプルに「全会話履歴をそのままLLMに渡す」素朴な実装からスタートし、その問題点を実際に確認しながら、RAG（Retrieval-Augmented Generation）とChromaDBを使って段階的に改善していきます。最終的には、会話がどれだけ長くなっても関連情報だけを的確に引き出せる、実用的なチャットボットが完成します。 使用するツールはすべて完全ローカル・無料。APIキーは一切不要です。 問題の本質 LLMを使ったチャットボットを作るとき、多くの人が最初にこう実装します。 messages = [] while True: user_input = input("You: ") messages.append({"role": "user"

[phantast]

こういうのを見るたびに人間の脳みそってよくできてるなって思う

[sionsou]

いずれこのへんも来年には標準になっていきそうなのが怖い。しかしブコメにもあるけど人間の脳ってどういう仕組なのか未だに不思議。長期記憶、短期記憶、しかも忘れても思い出したり、自然に整理されている…

[yarumato]

“会話がどれだけ長くなっても関連情報だけを的確に引き出せる、実用的なチャットボットを作る。「全会話履歴をそのままLLMに渡す」実装は精度が下がる。RAGの核心は「今の質問に関係する情報だけを取り出して渡す」”

[raitu]

人間の脳をモデルに再現していく過程が熱い

[shotawatanabe]

hermes + unslothでええやん

[kazu111]

ガンガンAI蒸留して生存競争させ、上手くいったAI蒸留物を残していく。⇒それがAIも理解してないまま「超低コストで上手くいく生物の遺伝子」のようになり、低コスト低電力で上手くいく仕組みが出来上がるよ

[SundayIsEveryday]

ちょうどOllamaにコンテキスト管理だったりハーネスを補おうと思ってたので参考になりそう。とはいえ、趣味レベルなので、Open WebUIやLangGraphを使ってお茶濁すかもだけど。

[otihateten3510]

これ俺も気になってたんだけど、そういうライブラリがあるわけか

[akibare]

LLMが記事を書いたのだろうけど、方向性としては良いので試してみたい

[bondooroo]

病院

[nguyen-oi]

全部の会話履歴をLLMにぶち込むゴリ押しから卒業するためのRAG入門にちょうどいいな