エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LLMトークン削減技術
CompressGPT プロンプトの圧縮復元をLLMにプロンプトを与えてやってしまう 単純に圧縮処理のための追加... CompressGPT プロンプトの圧縮復元をLLMにプロンプトを与えてやってしまう 単純に圧縮処理のための追加の上乗せtoken消費がかかるが1 completionに乗せるtokenは減るねん。というやつらしい Redis使ってるのは途中の結果を保存してAPI叩かず再利用するため The Recurrent Memory Transformer architecture Recurrent Memory Transformerを用いたトークンのスケーリング BERTモデルをRMTで補強する実験をしたら2,048,000 tokens入力できるようになって大勝利した GitHubはscaling-reportブランチを見るべし T5はText-to-text transfer transformer のこと 2. The RMT memory augmentation グローバルなメモリ