エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Q: ChatGPT(gpt-3.5-turbo)の最大トークン数は4096です。なので、プロンプトの長さが30000文字を超えるときに回答を得ることはできない。◯か☓か - nikkie-ftnextの日記
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Q: ChatGPT(gpt-3.5-turbo)の最大トークン数は4096です。なので、プロンプトの長さが30000文字を超えるときに回答を得ることはできない。◯か☓か - nikkie-ftnextの日記
答えは☓(バツ) 最大トークン数(max tokens)は40961ですが、プロンプトを工夫すれば30000字を超える長... 答えは☓(バツ) 最大トークン数(max tokens)は40961ですが、プロンプトを工夫すれば30000字を超える長さであっても回答を得られます! なお、この知見は「へぇ」レベルで、LLMを使っていく上では役に立たないと思います(ここで引き返してもええんやで)。 目次 答えは☓(バツ) 目次 先行研究:区切り線は2の冪乗で1トークン 2の12乗(4096文字)の区切り線でもいけるってこと? 動作環境 4096文字の区切り線を含んだプロンプトを送る 2の12乗(4096)文字の区切り線をtiktokenで見てみる 2の冪乗の文字数の区切り線は64文字で1トークンと効率よくトークン化されるので、30000文字超えのプロンプトを送ることもできる 終わりに P.S. max tokensについて 先行研究:区切り線は2の冪乗で1トークン このエントリのきっかけになったのは、はてなブックマークの