FastChat への 新モデルの対応手順｜npaka

「FastChat」への新モデルの対応手順をまとめました。 【注意】Google Colab Pro/Pro+ の T4のハイメモリで動作確認しています。 1. FastChat「FastChat」は、LLMベースのチャットボットを提供、学習、評価するためのオープンプラットフォームです。 FastChat の主な機能は次のとおりです。 ・LLMの推論、学習、評価。 ・Web UI と OpenAI互換のREST APIを備えた分散マルチモデル提供システム。 2. FastChat対応済みのモデル「FastChat」が公式で対応済みのモデルは、次のとおりです。 ・FastChat - Model Support 3. FastChatでの推論の実行FastChatでの推論の実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「T4」