Googleが2024年4月3日、新たなJPEGのコーディングライブラリである「Jpegli」を発表しました。Jpegliは高い下位互換性を維持しながら機能が強化されており、高品質の圧縮設定で圧縮率を35%も向上したとのことです。 Introducing Jpegli: A New JPEG Coding Library | Google Open Source Blog https://opensource.googleblog.com/2024/04/introducing-jpegli-new-jpeg-coding-library.html libjxl/lib/jpegli at main · libjxl/libjxl · GitHub https://github.com/libjxl/libjxl/tree/main/lib/jpegli インターネットは人々の生活や仕事に
富士通グループの株式会社富士通研究所は11月16日、超高圧縮した映像からでも高精度に映像の内容を認識できる映像圧縮技術を開発したと発表。 具体的には、同社は独自開発の高次元データ解析技術「DeepTwin(ディープツイン)」を深層特徴量の圧縮に応用し、画像認識精度を低下させずに、従来の画像圧縮方式の1つである「H.265」による映像圧縮と人工知能(AI)を組み合わせた一般的な方式と比較して、100倍以上の圧縮率を達成可能な映像圧縮技術を開発したという。 近年、ディープラーニング(深層学習)による画像認識の飛躍的な性能向上によって、映像から情報を抽出する画像認識AIソリューションが注目され、AI認識に特化した映像圧縮技術の開発が活発化している。とくに、監視・確認作業などをAIによって自動化する場合には画像を復元せずに、AIが画像認識するために必要な深層特徴量のみを圧縮・伝送する技術が注目され
ガブリエル・シナエーブ氏らによるMeta AIの研究チームが、インターネットにおける音声の「圧縮」に対してAIを用いることで従来の圧縮よりもさらなる圧縮が可能である、という研究を発表しました。AIを用いた圧縮により、豊かなマルチメディア体験を楽しむことができると説明しています。 Using AI to compress audio files for quick and easy sharing https://ai.facebook.com/blog/ai-powered-audio-compression-technique/ 今日のインターネットにおいて「圧縮」はなくてはならない要素で、圧縮により、高品質な画像やストリーミングが可能になります。しかし、現状の圧縮技術には高速なインターネット接続と十分なストレージ容量が必要になり、高品質で中断のないインターネットは一部の人しか体験できま
Intel Ignite 2023で優勝! AV1やH.266を超える圧縮率を実現するDeep Renderの「AIベースの動画圧縮技術」って何?:Intel Ignite 2023(1/4 ページ) 有望なベンチャー企業を支援すべく、Intelは2019年から「Intel Ignite」という支援プログラムを展開している。支援対象になれば同社から数百万ドルの資金援助を受けられるということもあって、多くのスタートアップ企業がこのプログラムに参加/応募している。 →Intel Ignite 9月に行われたイベント「Intel Innovation 2023」では、本プログラムの年度決勝に相当する「2023 Intel Startup Innovator Award」の表彰式が開催された。このアワードは、2023年度にIgniteに応募したベンチャー企業の中から選出された“トップ3”の優勝者を
ウェブサイトを閲覧するとき、画像やドキュメントなどさまざまなリソースを圧縮して転送することで細い回線でも快適にページを閲覧しやすくなります。エンジニアのアリサ・シレネヴァ氏が、ウェブサイトの圧縮に画像圧縮のために開発された「WebP」を使用することである程度の圧縮率を達成できると発表しました。 WebP: The WebPage compression format | purplesyringa's blog https://purplesyringa.moe/blog/webp-the-webpage-compression-format/ 多くのブラウザはgzipやBrotliなどの形式をサポートしており、ウェブサーバーは場合によって形式を使い分けています。gzipは高速に処理できて負荷が軽いためほぼ全ての場合において使用できますが、Brotliはgzipより圧縮率が高いものの処理に
GMOアドマーケティングのT.Kです。担当しているサービスで1回のリクエストに対するレスポンス内に複数のURLを含んでいます。URLには共通のパラメータと固有のパラメータがあり、セキュリティーの観点からそれらのパラメータを結合してから暗号化を施して1つの巨大なパラメータ値にしていました。暗号化したデータはGZIP圧縮と相性が悪く圧縮率が低かったです。 ブロック暗号のCBCモードは1ビットでも変化すると、それ以降の暗号文すべてが変化します。逆に言えば共通のパラメータを先頭に配置して結合する事で、暗号文も途中までは同じになり圧縮率を改善出来ます。 検証 前提条件 下記コマンドを使えるようにインストールしてください openssl gzip bash シェルスクリプト #! /bin/bash # 暗号化に使用するKEYとIV KEY=$(openssl rand -hex 16) IV=$(o
Googleは4月3日(現地時間)、Google Open Source Blog「Introducing Jpegli: A New JPEG Coding Library」において、「Jpegli」と名付けられた新しいJPEGコーディングライブラリを発表した。Jpegliは従来のJPEGフォーマットと高い下位互換性を維持しながら、高速かつ高品質なコーディングを実現しており、高品質設定で圧縮した場合の圧縮率が35%以上向上したという。 Jpegliの特徴 JpegliはGoogleが開発を進めている次世代のJPEG形式である「JPEG XL」のためのコーディングライブラリとして開発されており、JPEG XLのリファレンス実装で培われた新しい技術を使用しているという。GoogleはJpegliの特徴として、以下を挙げている。 オリジナルのJPEG標準規格と従来の8ビット形式に準拠し、lib
標準出力をgzipしてファイルを保存している場合など、元のファイルのサイズがわからないときに、伸長して圧縮率を確認したいときがある。 gzip -l, gzip --listを使うと説明されることが多いが、gzip -lには以下のバグがあるため利用しないほうがいい。 gzip 形式では、入力サイズは 2^32 の余りで表現されるため、 --list オプション による表示では、圧縮前のファイルが 4GB 以上の場合、圧縮前のサイズや圧縮率が 正しく表示されない。 引用元: https://linuxjm.osdn.jp/html/GNU_gzip/man1/gzip.1.html 実際に伸長するとDISK容量が足りなくなるおそれがあるので、標準出力に伸長して、wc -cに流すことでバイト数を取得する。 標準出力に伸長する方法は以下の通り3つほどある。下に行くほどおすすめ。gzipではcom
FFmpegの検証 FFmpegの各オプションで圧縮して、出力結果がどれほどのサイズに圧縮され、また画像の品質はどの程度か検証してみます。 今回は以下の動画を使って検証していきます。 容量:1.77 GB (1,910,356,178 バイト) 動画形式:mp4 動画の長さ: 01:01:08.72 サイズ:1280x720 コーディック:H264 ビットレート:4165 kb/s フレームレート: 60 fps 動画はOBSでPS4ソフト「GhostOfTsushima」のプレイ動画を録画したものになります。 オプションを指定せず圧縮 まずは出力オプションを何も指定せずに圧縮してみます。 ffmpeg -i GhostOfTsushima.mp4 GhostOfTsushima_mini.mp4 [出力結果] 圧縮処理の時間は「00:16:34.077」ほどかかりました。結構時間がかかり
zfsにはファイルシステムの機能として圧縮の機能があります。ファイルの種類に応じて自動的に圧縮がかかるため、特に意識すること無くxfs, ext4より多くのデータを保存することが可能になります。 圧縮機能をONにするとデフォルトではlz4のアルゴリズムが使われますが、他にもgzip(gzip-1〜gzip-9)、lzjb、zleなども選択することができます。 今回は、圧縮率の違いとアプリケーション実行時における速度の違いを見てみたいと思います。 環境 OS : CentOS7.5 (kernel: 3.10.0-862.9.1.el7.x86_64) CPU : Xeon Gold 6134 (8core, 3.2GHz) x2 Memory : 64GB Disk : NVMe P4500 4TB x1 zfs : version 0.7.9 圧縮アルゴリズム 下記6種類のアルゴリズムに
Arcserve UDP でバックアップ先のストレージ容量を見積もる際に必要な変数に「増分率」と「重複排除/圧縮率」があります。これらの値はバックアップ対象のデータによって変わってくるとは言うものの、まったく的外れな値を入れるわけにもいきません。 そこで、今日は過去のお客様事例(※1)で増分率や重複排除/圧縮率がどの程度になっているか、抜き出して表にまとめてみました。並べてみるとある程度傾向が見えてきます。これからのバックアップ サーバのサイジングにお役立てください。 (継続的な増分バックアップと重複排除) ■ 日次増分率 Arcserve UDP ではフル バックアップは初回のみで、2回目以降は増分バックアップだけを行うのが基本です。保存されるバックアップの世代(復旧ポイント)のほとんどが増分バックアップに由来するので、増分バックアップの効率がバックアップ先ストレージの必要容量に大きく影
先日、lz4がデータ転送に有効ということを知ったので、 lz4/zlibの圧縮率、圧縮展開速度の比較について調べることにしました。 さらに、2015年にFacebookから出たという新鋭のzstdもついでに調べることにしました。 今回は簡易調査なので、Pythonの圧縮ライブラリを使用して、 データセットはSqueeze Chart(Text/TEST_BIBLE/eng.txt)のみを使用することにしました。 スクリプト類は以下に配置しました。 GitHub - moamoai/TestComp] ライブラリインストール Pythonの標準ライブラリにlz4とzstdはないようなので、まずはインストールです。 pip3 install lz4 pip3 install zstd データ作成 Squeeze Chart • Lossless Data Compression Benchma
Jpegliは、画像のエンコードを改善し、高い下位互換性を保ちつつ強力な機能と高品質な圧縮設定によって、35%の圧縮率向上を実現している。 オリジナルのJPEG標準と、従来の8ビット形式に準拠した完全に相互運用可能なエンコーダとデコーダ、およびlibjpeg-turbo、MozJPEGとのAPI/ABI互換性の両方を提供し、画像を圧縮または展開すると、より正確で心理視覚的に効果的な計算が実行され、画像はより鮮明に見えるようになり、視認できるアーティファクトが少なくなる。 画質/圧縮密度比を高めつつ、libjpeg-turboやMozJPEGといった従来のアプローチに匹敵するコーディング速度を実現したため、コーディング速度のパフォーマンスやメモリ使用量を犠牲にすることなく、既存のワークフローへの容易な統合を可能にしている。 コンポーネントごとに10ビット以上でエンコードでき、10ビット以上の
gzipより圧縮率の高いBrotliをエックスサーバーで使う 公開日 2021年10月7日 最終更新日 2023年11月16日 著者 Motohiro Tani ブラウザなどでWeb上のページを表示させる際は、まずそのページのデータをダウンロードする必要があります。 一般的には最初にHTMLファイルを、その次にCSSファイルやJSファイル、画像ファイルなどをダウンロードしていき、それらのファイルを解析した後にブラウザ上(ディスプレイ上)にページが表示されます。 それらのファイルの中でテキストファイルに属するもの、つまり以下のような種類のファイルは、 HTMLファイル CSSファイル JSファイル SVGファイル そのサーバーが対応していればレスポンス時(ダウンロード時)にサーバー側で圧縮をすることが可能です。 このページを書いている2021年現在ではgzip形式での圧縮が一般的でしょう。
2020/02/11 · Windowsファイルはマイクロソフト製のcabが優秀。 rarは圧縮率は高いが時間がかかる。 Linuxの圧縮・解凍コマンド. gzipコマンド.
WordPressで画像をアップロードしてページを見ると どうにもその画像の画質が悪い。。。 この画質の劣化の原因と解決方法を調べました。 劣化の原因はWordPressの標準画質設定 アップした画像は 自動的にリサイズ(サムネイル・中・大サイズなど)されて保存されますが、 標準の設定ではリサイズされる際にオリジナル画像の90%の容量に圧縮してしまうそうです。 ちなみに画質が変化するのはWordPressがリサイズする画像のみに反映されるようで フルサイズ(元データ)の画質は劣化しないようです。 解決方法 functions.phpに下記のコードを追加します。 //PHP5.3以上はこのコード add_filter( 'jpeg_quality', function( $arg ){ return 100; } ); //PHP5.2以下はこのコード add_filter('jpeg_qu
個人再生はある程度の借金減額幅の基準があり、事前にどの程度の借金が減額することができるのかという目安があります。 上記の表は最低弁済基準額をまとめたのものです。個人再生は最低弁済額と清算価値を比較して高額な方の金額を返済していくことになります。清算価値は資産を精算する際の評価額のようなものです。 そのため清算価値に関しては人によって違うため比較はできないですが、最低弁済額は上記の表で金額がわかります。借金500万円というケースだと最低弁済額は100万円になります。 つまり最大で借金を500万円から100万円に減額することができるということです。借金が5分の1になるのでかなり大きな減額幅ではないでしょうか。これだけ借金が減れば、これまでは完済が不可能だった方も完済の見込みが出てくる可能性はあると思います。 ただ清算価値が100万円を超えてくると、清算価値の金額が返済額になってくるので、高額資
富士通グループの株式会社富士通研究所は11月16日、超高圧縮した映像からでも高精度に映像の内容を認識できる映像圧縮技術を開発したと発表。 具体的には、同社は独自開発の高次元データ解析技術「DeepTwin(ディープツイン)」を深層特徴量の圧縮に応用し、画像認識精度を低下させずに、従来の画像圧縮方式の1つである「H.265」による映像圧縮と人工知能(AI)を組み合わせた一般的な方式と比較して、100倍以上の圧縮率を達成可能な映像圧縮技術を開発したという。 近年、ディープラーニング(深層学習)による画像認識の飛躍的な性能向上によって、映像から情報を抽出する画像認識AIソリューションが注目され、AI認識に特化した映像圧縮技術の開発が活発化している。とくに、監視・確認作業などをAIによって自動化する場合には画像を復元せずに、AIが画像認識するために必要な深層特徴量のみを圧縮・伝送する技術が注目され
背景 LLMにおける様々なプロンプティング技術が登場しています。例えばChain-of-Thought(CoT)などが代表的な例です。課題に対して適切なプロンプティング技術を使用することで、LLMは複雑なタスクを処理できることが分かってきました。 しかし工夫を凝らせば凝らすほど基本的にプロンプトの長さは増してきます。すると計算コストと金銭的コストの増加、およびLLMの情報認識能力の低下という問題が出てくることとなります。 そこで役立つ可能性があるのが、プロンプトの情報を失わずに短くすることを目指すプロンプト圧縮技術です。 これまでにもプロンプト圧縮手法はいくつか提案されてきました。主に特定のタスクやクエリに合わせて圧縮されたプロンプトを生成することを目的としたタスク依存型の手法によって、特に質問応答における下流のタスクでパフォーマンスが向上する結果が得られてきました。 しかし、タスク依存型
IT Leaders トップ > テクノロジー一覧 > AI > 新製品・サービス > 富士通研究所、AIによる映像監視向け映像圧縮技術を開発、圧縮率はH.265の100倍以上 AI AI記事一覧へ [新製品・サービス] 富士通研究所、AIによる映像監視向け映像圧縮技術を開発、圧縮率はH.265の100倍以上 2020年11月16日(月)日川 佳三(IT Leaders編集部) リスト 富士通研究所は2020年11月16日、超高圧縮した映像からでも高精度に映像の内容を認識できる映像圧縮技術を開発したと発表した。監視・確認作業をディープラーニング(深層学習)を用いた画像認識で自動化するケースに向く。一般的な方式(H.265映像圧縮とAIの組み合わせ)と比較して100倍以上の圧縮率を達成できるとしている。2021年度中の実用化を目指す。 富士通研究所は、ディープラーニング(深層学習)を使った画
【話題】イギリス「BBC東京オリンピック2020」イメージ動画がスゴイ! 圧縮率高めの東京! 初音ミクの歌声も イギリスの報道機関BBCが東京オリンピックのため作成したイメージ動画が大きな注目を集めている。動画の尺は約1分で、満を持して開催されるオリンピックと、ワクワク感あふれる東京のようすが伝わってくるものとなっている。 ・東京オリンピック2020を躍動感を伝える 動画の音楽は作曲家の川井憲次先生(64歳)が担当し、初音ミクの音声も使用。アイドル、アニメ、漫画、ゲーム、玩具など、さまざまな日本が誇れるエンターテインメント文化を全面に出しつつもマニアックに偏らず、映像の演出と美しさによって、見事に東京オリンピック2020を躍動感とともに伝えているように感じる。 ・東京に対するイメージがギュギュっと濃縮&圧縮 また、注目すべき点は圧縮された東京に対するイメージだ。この動画では東京に対するイメ
世界の大手IT企業「GAFA」たちが作り上げた映像符号化方式(動画コーデック)「AV1」が主役に立とうとしている。追いかけるのが、現在国際標準化に向けて規格策定中の「VVC」だ。VVCはAV1を超える符号化性能を誇るものの、符号化の改良に頭打ち感があり、性能上限が見えてきている。さらなる発展には、既存の評価基準を変える必要があると研究者は指摘する。 米Googleや米Appleなどが推す映像符号化方式(動画コーデック)「AV1」。現行規格「H.265/HEVC」を押しのけて主役へと駆け上がるAV1は、特許料を無料にする「ロイヤルティーフリー」の仕組みだけではなく、性能面で優位に立つ点が多い。一方で、H.265の後継規格「VVC」の開発が進む。国際標準化団体「MPEG」と「ITU-T」が共同で立ち上げた「JVET」が、VVCの規格策定を進めている。2014年末ごろから議論を始めていた。 JV
iOS 16ではSafariはもちろんシステムベースでAVIFイメージがサポートされています。詳細は以下から。 Appleは現地時間2022年09月12日、iPhone 8シリーズやiPhone X、iPhone SE (第2世代)以降のiPhoneに対応し、ロック画面のパーソナライズなどをサポートした「iOS 16」を正式にリリースしましたが、このiOS 16ではシステムベースで「AVIF(AV1 Image File Format)」イメージがサポートされています。 AV1コーデックやAVIFは、AmazonやNetflix、Cisco, Googleなどが設立したAlliance for Open Mediaが開発するロイヤリティフリー&圧縮率の高い映像/画像フォーマットで、AmazonやNetflixなど動画配信プラットフォームが積極的に採用しており、AppleでWebエバンジェリ
Googleが「Jpegli」を発表。圧縮率が35%改善した新しいJPEGコーディングライブラリ 2024 4/08 Googleは4月3日(現地時間)、新しいJPEGコーディングライブラリで「Jpegli」を発表しました。 Jpegliは高度なJPEGコーディングライブラリで、高い下位互換性を維持しながら強化された機能を提供し、高品質圧縮設定で、圧縮率を35%向上させることができます。 Jpegliは従来のJPEGよりも高速で、効率的、かつ美しい画像を実現するために設計されています。目標を達成するために以下のような新しいテクニックを使用しています。 オリジナルのJPEG標準と最も一般的な8ビット形式に準拠し、完全に相互運用可能なエンコーダーとデコーダー、およびlibjpeg-turboとMozJPEGとのAPI/ABI互換性の両方を提供する。 高品質な出力。画像がJpegliを通して圧縮
NTTは東京大学と共同で、テラヘルツの広帯域と75%以上の高い圧縮率を実現した量子光源(スクィーズド光源)を共同で開発した。室温で動作可能な汎用の光量子コンピュータチップなどの用途に向ける。 量子ノイズ圧縮率は75%以上、帯域は2THz以上 NTTは2020年3月、テラヘルツの広帯域と75%以上の高い圧縮率を実現した量子光源(スクィーズド光源)を、東京大学と共同で開発したと発表した。室温で動作可能な汎用の光量子コンピュータチップなどの用途に向ける。 大規模な汎用量子計算を実現するため、一方向量子計算という手法を用いた光量子コンピュータなどが注目されている。量子もつれを作るには、非線形光学効果によって生成可能なスクィーズド光を用いる。しかし、これまで用いられてきた共振器構造だと、高い量子ノイズ圧縮率は実現できるが、構造上の問題により帯域は数GHzに制限されていた。 一方、帯域が広いスクィーズ
AVIF(エーブイアイエフ)は、「AV1 Image File Format」の略で圧縮率の高い画像フォーマットです。 AVIF は次世代画像フォーマットのひとつで、PNG や JPEG と比べてファイルサイズが小さいです。 しかし、実際に PNG や JPEG を変換するとどれくらい圧縮ができるか気になる方もいるのではないでしょうか。 この記事では、AVIF のフォーマットの特徴から実際の圧縮率まで解説します。 AVIF とは AVIF は、Alliance for Open Media(AOMedia)によって開発された新しい画像フォーマットです。 Alliance for Open Media は、Google、Amazon、Netflix、Intel、Microsoft などの企業や団体が協力して、より効率的でデータ節約のできるビデオや画像の開発を目的とした非営利団体です。 PNG
Meta(メタ)はAIによって驚異的な圧縮を実現した新たな音声コーデック「EnCodec」を発表した。このコーデックでは、MP3形式の10倍の64kbpsで、品質を落とさずに音声を圧縮できるとのことだ。Metaによると、この技術により、サービスが不安定な地域での電話など、低帯域幅の接続における音声の音質を劇的に改善することができるという。また、この技術は音楽にも応用できるようだ。 研究の詳細については、「High Fidelity Neural Audio Compression」と題する論文で詳しく解説されており、また、要約は上記のMetaによるブログで公開されている。 Metaによると、この技術の肝となる部分は、音声を目的のサイズに圧縮するために訓練された3つの部分からなるシステムとのことだ。まず、エンコーダーが非圧縮データをより低いフレームレートの「潜在的空間」表現に変換する。次に「
圧縮率をbestに変えたい 圧縮率を変えるには、再圧縮が必要 gzip -cd old.gz | gzip > new.gz 伸長(展開)してからやるとストレージが無駄になる。 gzip -cd dump.gz gzip -best dump そこで、直接パイプしてあげればいい gzip -cd dump.gz | gzip > dump.gz.2 巨大ファイルで時間のかかるとき pv と組み合わせて、進捗を表示しつつ pigz で CPUパワーをフルパワーで使ってやる。 pv -cN read dump.gz | pigz -d -p4 | pigz --best -p 4 | pv -cN compress > dump.gz.2 インストール sudo apt install pv pigz 圧縮アルゴリズムを変更するときも同様 gzipからxz に変えたいときも同様にできる。 gz
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く