エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
karakuri-lm-70b-chatをOpenAI互換のローカルサーバとして動かしてみた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
karakuri-lm-70b-chatをOpenAI互換のローカルサーバとして動かしてみた - Qiita
はじめに karakuri-lm-70b-chatの4bit量子版ggufをローカルPCで動かしてみた時のメモです。 json format... はじめに karakuri-lm-70b-chatの4bit量子版ggufをローカルPCで動かしてみた時のメモです。 json format出力が出来たり、少し複雑なsystem promptも効いてくれて良いです。 KARAKURI LM 70B Chat v0.1 とは Llama 2 70Bベースの継続事前学習&finetuneモデルで、現時点(2024/2/2)でMT-Bench-jpベンチマークにおいて日本語のオープンモデルの中で最高性能モデル。 デモサイトも用意されていて、簡単にお試しすることもできます。 KARAKURI LM を試す。すごい優秀。json fromat出力指定が通る。複雑めなsystem promptもしっかり効く。 (json formatしっかり返せるようになるとagent動かせるようになるですよ。とはいえ70bはうちのPCでは動かないけど...シクシク