Local-Novel-LLM-projectのモデルをmlx & Gradioで試してみる｜Lucas

日本語の生成を目指したLocal-Novel-LLM-projectからいくつかモデルが発表されました。#ローカルAIハッカソン で優勝したプロジェクトです。 ただ自分はメインがMacですので、Macのmlx環境とGradioを使って試してみました。 印象は、しっかりした日本語を生成してくれて、なおかつ長文生成をしてくれるという感じを持ちました。 モデル種類には、小説生成向けのNinjaと会話向けのVecteusと、あたらしく小説能力ではなくコードや数学系の知識を持たせたというAssistanceが追加されています。 今回は、Vecteus とNinjaを試してみました。 Chat Templateは Vicuna形式がお勧めということなので、それを使ってみます。（特にこの形式を指定しなくても、最後に掲載するスクリプトでは動きました。また、このスクリプトでいいのか自信がありませんが、動い