「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
![ローカルLLMの情報まとめ|npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/4542df9207fa9bac0574f5d40b0a00972ae4d1c0/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F107915434%2Frectangle_large_type_2_f7e54589d3725bf0153711ce61a78943.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
はじめに (今後ステートフルなAPIが出てきたり、入力トークンの制限が大幅に解除されると状況は変わるかもしれません。2023/6現在での試行錯誤となりますことご理解下さい。) (※6/15追記 16kバージョン出てきましたね。日本語だと1万語くらいでしょうか。500トークン(300文字くらい?) x 20 往復くらいまでなら対応できるようになりましたが、これでも足りないケースとか、もしくは(3)の方式の要約情報を他でも使う、とかならまだまだ有効な内容かなと思います。) ChatGPTでアプリを作ると、会話履歴が大量に入らないことに困るタイミングがあると思います。よくある方法は過去10往復の会話のみ保持するとかになると思うんですが、それだと困るシーンも結構ありますよね。 そもそもなんで無限に会話が入らないかというとChatGPT(gpt-35-turboを対象)では、4096トークンという上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く