Google、LLMのメモリ消費を6分の1に削減する新技術「TurboQuant」発表
米Googleは3月24日（現地時間）、新たな圧縮手法「TurboQuant」に関する研究により、LLMを実行するために必要なメモリ量を6分の1に削減できる可能性があると発表した。 この技術は、AIモデルが情報を処理する際に用いる高次元ベクトルデータのサイズを極限まで圧縮し、大規模AIや検索エンジンにおけるメモリのボトルネックを解消するものという。特に、LLMの推論時に頻繁に使用される情報を一時保存する「キーバリュー（KV）キャッシュ」の圧縮において、モデルの精度やパフォーマンスを犠牲にすることなく大幅な効率化を実現するとしている。 TurboQuantは、データの構造を単純化して大部分の圧縮を行う「PolarQuant」と、そこから生じた微小な誤差を1ビットのデータで数学的に補正する「QJL」という2つの手法を効果的に組み合わせている。これにより、事前の追加学習やファインチューニングを行
ChatGPTの「アダルトモード」、無期限凍結か Sora終了に続き
米OpenAIが、ChatGPT向けに検討していた「アダルトモード」の開発を無期限で凍結したと、英Financial Timesが報じた。OpenAIは先月、この機能の開発を延期していたが、今回は事実上の棚上げに踏み切った格好だ。 報道によると、Sam Altman CEOは周辺的な取り組みを縮小し、ChatGPT本体、コーディング支援ツール「Codex」、AIエージェント型ブラウザ「Atlas」など、中核製品に注力する方針という。今週終了が伝えられた動画生成ツール／アプリ「Sora」も、こうした見直しの対象だったとみられる。 アダルトモードは、成人向けテーマを含むテキストチャットを可能にする構想だった。ただし、性的な音声、画像、動画の生成は想定していなかったという。 一方で、この機能を巡っては社内外から懸念の声が上がっていた。未成年の利用を十分に防げない可能性があるほか、搾取的なコンテン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フルフラットシートの夜行高速バス「フラットン」新車両お披露目。実際に首都高を寝ながら乗ってみた。その寝心地は？
