AnythingLLMのモデルルーティングを試す 画像解析やコード作業でLLMモデルを自動切り替え - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア

AnythingLLMは、ローカルLLMやクラウドLLMとチャットできるオープンソースのAIアプリケーションです。RAG（ドキュメント検索）、AIエージェント、MCP、Web検索など多くの機能を備えています。今回は、その中でも用途に応じて使用するLLMを自動で切り替えられる「モデルルーティング」機能を試してみました。 ところで、ローカルLLMを試すだけであれば、OllamaやLM Studioだけでも十分です。しかし実際に活用し始めると、モデルの知識だけでは足りず、RAGでドキュメントを検索したくなったり、Web検索で最新情報を取得したくなったりと、求める機能が少しずつ増えてきます。 AnythingLLMには様々な機能が用意されており、先ほど紹介したようなことも実現できます。今回は、その中でも便利な「モデルルーティング」機能を試してみます。 モデルルーティングとはあらかじめ設定した条件に