FastChatがバージョンアップして、LangChainとOpenAI互換のローカルAPIサーバーとの統合方法が詳しめで紹介されていました。 モデルのダウンロードFastChat 初回起動時に自動でモデルがダウンロードされるので、特に何もしなくても大丈夫です。 以前のVicuna-13b-v1.1では、LLaMAから手動でデルタを適用する必要がありましたが、現行のFastChat のバージョンでは、モデル起動時に自動でデルタ適用済みのモデルがダウンロードしてくれるようになりました。 RESTful APIサーバーの起動 各サーバーを起動します。 まずは controllerを起動します。 $ python3 -m fastchat.serve.controllerLangChainから呼び出すOpenAI APIのモデル名に見せかけるために、worker 起動時に、OpenAI公式のch