サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
買ってよかったもの
zenn.dev/onaka_ga_pkpk
はじめに rinnaをサービスに組み込みやすくするためにapi化したけどやっぱりchatGPTみたいにストリーミングしたほうがユーザー体験が良いってことでStreamingResponseに対応したrinna APIを作ってみた。 生成された出力をStreamingする方法 transformersのTextIteratorStreamerクラスを使えば良いらしい。 使い方は簡単で TextIteratorStreamerにtokenzierを渡して tok = AutoTokenizer.from_pretrained("gpt2") model = AutoModelForCausalLM.from_pretrained("gpt2") inputs = tok(["An increasing sequence: one,"], return_tensors="pt") streame
このページを最初にブックマークしてみませんか?
『zenn.dev』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く