はじめに オープンなモデルの急速な進化 オープンなモデルとは オープンなモデルの活況 オープンなモデルをセルフホストする利点 コスト効率 カスタマイズの自由度 選択肢の多様性 データのプライバシーとセキュリティ チームのケイパビリティ向上 スケーラブルでコスト最適なAI Chat Bot(RAG)の作り方を考える RAGアプローチの構成要素 ベクトル検索とは ベクトル検索の前準備 ベクトル検索の流れ LLMのデプロイ デプロイ方法 必要なスペック End to Endなアプリケーションに仕立てる 環境 使い方 実装上のポイント faiss_index検索時のtop_k intfloat/multilingual-e5-largeでのquery / passageの指定 LLMへのプロンプト 回答のストリーム systemdによるプロセスのデーモン化 スケーラビリティ、コスト最適化のアイデア
![Open AIを敢えて使わない、セルフホストなAI Chat Bot(RAG)の意義と作り方 〜スケーラビリティ/コスト最適化のアイデアを添えて〜 - 流沙河鎮](https://cdn-ak-scissors.b.st-hatena.com/image/square/6871435d63ec6fcf7c35e799bad409f418ad0608/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fb%2Fbering%2F20240105%2F20240105071140.png)