GPTでプロンプト圧縮を試みたらすごかった｜入江 慎吾 🚀 生成AIでプロダクト開発
ChatGPTのAPIを使う際に会話履歴を残したいとか、最初に大量のインプットをさせてその情報をもとにやりとりしたい、などのニーズがでてきます。しかし、トークン制限や料金の問題であまり大量のデータをやりとりするのは避けたいところ。 そこで、GPT自体にプロンプトでデータを圧縮してもらえるか試してみました。結果、すごかった。 ちょっと待って、これすごいかも。 トークン節約のため、一度GPTにプロンプトをGPTだけがわかる形に変換してもらう。これを保存して再利用すればグッとコスト抑えれそう。 pic.twitter.com/9yKClb4xc3 — 入江 慎吾 / AI研究 (@iritec_jp) April 12, 2023
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
2019年5月31日 Fedora、RPMパッケージの圧縮アルゴリズムをxzからZstdに変更へ | gihyo.jp
Linux Daily Topics 2019年5月31日Fedora、RPMパッケージの圧縮アルゴリズムをxzからZstdに変更へ リリースされてからちょうど1ヵ月が経過した「Fedora 30」だが、プロジェクトチームはすでに次期リリース「Fedora 31」に向けて数多くのアップデートを検討中だ。その中でも比較的大きな動きとして、RPMパッケージの圧縮アルゴリズムを長年使ってきたxzからZstdへと変更する可能性が強くなってきている。 Changes/Switch RPMs to zstd compression -Fedora Project Wiki この提案を行ったのはRed Hatでプリンシパルソフトウェアエンジニアを務めるDaniel Machで、現在、バイナリRPMの圧縮に使われているxz（レベル2）をZstd（レベル19）に変更することで、解凍時に劇的なパフォーマンス向
データ特性による圧縮されやすいJPEG/PNGファイルの作り方 - hitomedia Tech Blog
はじめまして。 株式会社ヒトメディアでフロントエンドをしつつ、時々デザイン周りの監修をしている いとー です。 ヒトメディアでは毎月、有志が集まり勉強会を開いています。 今日はそこで発表した、画像形式とその内容における圧縮のしやすさについての資料を公開したいと思います。 この記事の内容 バナーやLP用の画像作成したものの、規定容量超えちゃった! どうしよう... 😅 ってよくあるよね ファイルの形式によって、圧縮されやすい画像とされにくい画像があります 圧縮されやすい構造を理解することで、質の高い軽い画像を作ろう✨ この記事を読んでほしい人 容量とにらめっこすることの多いデザイナー 少しでも軽いサイトを作りたいフロントエンドエンジニア はじめに 一般的に「画像を軽くする」というと、書き出し時のクオリティ選択や、 書き出し後にメタデータを撤去するなど、ツールで処理する印象があると思います。
お天気プロコンと圧縮アルゴリズムについて - 兼雑記
https://beta.atcoder.jp/contests/wn2017_1/standings むっちゃ僅差で2位。残念。この212点差がどのくらい僅差かというと、最後にいじってたところにもう2行変更を入れることを思いつけていれば、軽く2000点は差がついて勝ててたと思いますし、そうでなくても後30分もあれば実装できた細かいヘッダの圧縮で逆転できた量です。自分に悔しがる気持ちというのがこれほど残ってたのか、と驚くほど悔しいです。でも勉強になったし楽しかったです。 やったことを書きつつ、そもそも圧縮アルゴリズムについて、私としては感動的だった知見を得られたので、書いてみようかと思います。 今回のコンテストは、チャンネル1つの(RGBじゃなくてグレースケールだと思えば良い)画像を64枚を可逆圧縮するというものでした。その64枚の画像は同じ座標について光の波長と時間を変えて気象衛星が観測
Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ - ぴよぴよ.py
今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x
2016年のOSS圧縮ツール選択カタログ - Qiita
まだgzipで消耗し（略） 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに （この記事で言う）圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない（はず）です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル
QUICのヘッダ圧縮QPACKとは (旧QPACK) - ASnoKaze blog
20190408追記 最新版について記事を書きました asnokaze.hatenablog.com QUICのヘッダ圧縮であるQPACKについて 現在のQUICの策定中仕様の一つである「Hypertext Transfer Protocol (HTTP) over QUIC」では、QUICでもHTTPヘッダの圧縮にHPACKを使用することになっていますが、新しくQUIC用のヘッダ圧縮方式として「HTTP over QUIC - Mapping and Header Compression」という仕様でQPACKなるものが提案されています。 背景 QUICとHPACK HTTP/2ではヘッダ圧縮方式としてHPACKと呼ばれる方式を利用します。HPACKはRFC 7541「HPACK: Header Compression for HTTP/2」で標準化されています。 HPACKはヘッダ名と
暗号化と圧縮、どちらを先にするべきか？ | POSTD
こんなことを想像してみてください。 あなたは大企業で働いています。仕事はかなり退屈です。端的に言えば、あなたの顔も見たくないという経理担当の3人しか使わないようなアプリケーションのために定型的なコードを書いて、才能を無駄にしているという状況です。 あなたが本当に情熱を注げるのはセキュリティです。毎日、 r/netsec を読み、仕事の後にはバグ報奨金プログラムに参加しています。ここ3カ月間は手の込んだ株式取引ゲームをプレイし、報奨金を得ています。ヒープベースのバッファオーバーフローを発見し、優良株を選ぶ手助けとなるAVRシェルコードをいくつか書いたからです。 あなたが取り組んできたビデオゲームが、実は巧妙な偽装のリクルートツールであったと判明し、全てが変わります。世界最高のセキュリティコンサルタント会社、Mont Piperが人材を募集していて、あなたは面接に行くことになったのです！ 飛行
Lepton image compression: saving 22% losslessly from images at 15MB/s | Dropbox Tech Blog
Lepton image compression: saving 22% losslessly from images at 15MB/s This open-source project is no longer maintained or supported by Dropbox. Please refer to Lepton’s GitHub page for more information. ~ ~ ~ We are pleased to announce the open source release of Lepton, our new streaming image compression format, under the Apache license. Lepton achieves a 22% savings reduction for existing JPEG i
t-SNEで遊ぶ - Negative/Positive Thinking
はじめに 最近よく見かける「t-SNE」という非線形次元圧縮手法を試してみた。 t-SNEとは t-Distributed Stochastic Neighbor Embedding SNEと呼ばれる次元圧縮手法の問題点を改善した手法 SNEは、「各点間の"ユークリッド距離"を、類似度に相当する"条件付き確率"に変換して低次元にマッピングする手法」のこと 各点について、高次元での確率分布と低次元での確率分布が一致するように低次元での点を探している 確率分布の違いは「カルバックライブラー情報量」で、これを損失関数にして勾配法で低次元の点を求める 低次元での分布に「自由度1のt-分布」を利用する さらに、高速化を行った「Barnes-Hut t-SNE」という手法ではO(n log n)で計算できる http://arxiv.org/abs/1301.3342 詳しい説明は、元論文や紹介記事が
圧縮プログラムによる著者推定技術のニンジャスレイヤーへの応用
In this talk, we will give a technical deep dive into the new YARN shared cache feature (i.e. YARN-1492) and explore the benefits we are currently seeing on our production clusters at Twitter. The YARN shared cache aims to optimize the considerable amount of network bandwidth and storage spent on resource localization in YARN. Some of this is mitigated by the NodeManager localization service, but
ソート済の整数列を圧縮する件
圧縮されたソート済の整数列ってのは汎用的なデータ構造で、たとえば検索エンジンの転置インデックスとか、いろんなところで使うわけです。で、検索エンジンの場合は速度重要なので、PForDeltaとか様々なデータ構造が研究されてる。 一方、H2O には、ブラウザキャッシュに載ってない js や css をサーバプッシュする仕組み「cache-aware server push」があって、何がキャッシュされているか判定するためにブルームフィルタを全ての HTTP リクエストに含める必要がある。 で、ブルームフィルタを圧縮しようと思うと、ブルームフィルタってのはソート済の整数列として表現できるので、これを圧縮しようって話になる。 検索エンジン等で使う場合は速度重要だけど、HTTPリクエストに載せる場合は空間効率のほうが重要になる。ってことで、空間効率が理論限界に近いゴロム符号（の特殊系であるライス符号
InnoDBの透過的ページ圧縮(MySQL Server Blogより) | Yakst
InnoDBではMySQL 5.1のInnoDBプラグインからページ圧縮の機能があるが、新しく透過的なページの圧縮が実装された。機能上の制約、内部の実装、ベンチマーク結果などをご紹介する。ハードとファイルシステムを適切に選ぶことで最大300%の性能向上と旧来の圧縮と同等の圧縮効果が得られる可能性がある。 免責事項 この記事はSunny Bains氏によるMySQL Server Blogの記事「InnoDB Transparent Page Compression」(2015/8/18)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 鋭敏な読者の皆様はInnoDBはMySQL 5.1のInnoDBプラグインから既に圧縮機能をもっていることに気がついているだろう。我々は「ページ圧縮(Page Compression)」という用語はMySQL 5.7でリリースされる予定の
Introducing Brotli: a new compression algorithm for the internet
The latest news from Google on open source releases, major projects, events, and student outreach programs. At Google, we think that internet users’ time is valuable, and that they shouldn’t have to wait long for a web page to load. Because fast is better than slow, two years ago we published the Zopfli compression algorithm. This received such positive feedback in the industry that it has been in
Zstandard - A stronger compression algorithm
Zstd, short for Zstandard, is a new lossless compression algorithm, aiming at providing both great compression ratio and speed for your standard compression needs. "Standard" translates into everyday situations which neither look for highest possible ratio (which LZMA and ZPAQ cover) nor extreme speeds (which LZ4 covers). It is provided as a BSD-license package, hosted on Github. For a taste of it
2013年度の文法圧縮の進展 - Yasuo Tabeiの日記
年が明けて2014年の１月ももう半分まで来てしまいましたが、調度良い時期ですので, 2013年の振り返り記事の代わりに2013年の文法圧縮の進展を振り返ってみたいと思います。 はじめに文法圧縮を簡単におさらいすると, 文法圧縮とは入力となるテキストのみを表現する小さいCFGを構築する圧縮方式です. ゲノム配列, バージョン管理されたテキスト, リポジトリー上でのソースコードなど反復する部分列を多く含むテキストに対して高い圧縮率を達成することができます. これらのテキストは反復テキストと呼ばれ, 次世代シーケンサー技術やバージョン管理ソフトの発展により文法圧縮は今後ますます重要な技術と言えます. 文法圧縮には２つの問題があります。一つ目は入力テキストを表現する小さいCFGをどのように構築するかという問題です。最小化問題はNP-hardとして知られていて, 現在までにさまざまな近似アルゴリズム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
digital_video_introduction/README-ja.md at master · leandromoreira/digital_video_introduction
GitHub - opencomputeproject/Project-Zipline: Defines a lossless compressed data format that is independent of CPU type, operating system, file system, and character set, and is suitable for compression using the XP10 algorithm.
文法圧縮に基づく高速クエリー検索法に関する論文を公開しました - Yasuo Tabeiの日記
