GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
[NAFNet] 機械学習で画像のノイズ除去、ブラー除去、超解像 [Denoise, Deblur, Super Resolution]
[NAFNet] 機械学習で画像のノイズ除去、ブラー除去、超解像 [Denoise, Deblur, Super Resolution] 2022年5月7日土曜日 Artificial Intelligence NAFNet 概要 近年、画像復元(Image Resolution)技術は様々な進歩がみられていますが、システムの複雑さも増加しています。 NAFNetは、SOTAを達成しつつ、計算効率の高い単純なベースラインで構成される画像復元技術です。 NAFNetは、Sigmoid, ReLU, GELU, Softmaxなどの非線形活性化関数を使用せず、乗算で置き換えるか、削除することでベースラインを単純化しています。 このため、非線形活性化関数フリーなネットワークであることから、Nonlinear Activation Free NetworkでNAFNetと呼ばれています。 NAFN
![[NAFNet] 機械学習で画像のノイズ除去、ブラー除去、超解像 [Denoise, Deblur, Super Resolution]](https://cdn-ak-scissors.b.st-hatena.com/image/square/3828202bae4d9f41c2870f8975532387ece14e8a/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEhTtUYLxfr2PIgqLCmf-FmjmdBQjzW4hVo2ToFgqsLN7uXqyoy2x9iUy-ftmpBs5VTu0LkanHRul1VeLmjHm91lV0ikrdxQR-dkQUcZs5pF2CY-qQwlKnfkX7MTz17Y7FJXOOw3iKohKGgdWWulRPeU41DoMabXxKrWbfeoWI4RYOpNGmhLPvdEg79FVw%2Fw1200-h630-p-k-no-nu%2Feyecache.gif)
Haruhiko Okumura on Twitter: "「現場周辺の防犯カメラには青い自転車に乗った男が写っていましたが、当時は映像が粗く、顔を確認することはできませんでした。しかし先月、新たな技術で映像を解析し直したところ、顔がはっきりと判別できるようになり」超解像！でも浮かび上がっ… https://t.co/Oq3tZuz80m"
「現場周辺の防犯カメラには青い自転車に乗った男が写っていましたが、当時は映像が粗く、顔を確認することはできませんでした。しかし先月、新たな技術で映像を解析し直したところ、顔がはっきりと判別できるようになり」超解像！でも浮かび上がっ… https://t.co/Oq3tZuz80m
3つの要点 ✔️ 低解像から高解像へ変換 ✔️ 時間的に一貫したフレームを生成するために双方向損失関数を採用 ✔️ 超解像度へ変換するTecoGANを提案 Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation Temporally Coherent GANs for Video Super-Resolution (TecoGAN) written by Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, Nils Thuerey (Submitted on 23 Nov 2018 (v1), last revised 21 May 2020 (this version, v4)) Comments: Published by arXi
この記事は Chainer Advent Calendar 2016の18日目の記事です。昨日は@zacapa_23さんのPokemonGANでした。僕もDCGANを使って百合漫画の解析に活かそうとしたことがあるので、なんだか親近感がわきます。ちなみにこの記事もDCGANがらみです。 数年前にニューラルネットで超解像を行う研究が発表されてから、近年のディープラーニングブームの中で、特に企業の研究として(学習型一枚絵)超解像が発表されています。国内でも、特にイラストへの応用として、waifu2xという実装が注目を浴びたりしました。GitHub - nagadomi/waifu2x: Image Super-Resolution for Anime-Style Art さて、いくつかある論文の中で、今回はTwitter社が9月に公開したもの( Photo-Realistic Single Im
『ゼルダの伝説 ティアーズ オブ ザ キングダム』では “超解像技術”を採用。画質向上＆安定フレームレートに期待 - AUTOMATON
『ゼルダの伝説 ティアーズ オブ ザ キングダム』には、AMDのFidelityFX Super Resolution（以下、FSR）の技術が採用されるようだ。本作では予約購入者向けの事前ダウンロードが開始しており、知的財産表記にて同技術の記載を確認できる。 『ゼルダの伝説 ティアーズ オブ ザ キングダム』は5月12日に発売が予定されている『ゼルダの伝説』シリーズ最新作だ。『ゼルダの伝説 ブレス オブ ザ ワイルド』の続編にあたる。本作『ゼルダの伝説 ティアーズ オブ ザ キングダム』の舞台は、大地と大空が広がった世界。スクラビルドやウルトラハンドといった新たな力を手にしたリンクがハイラルの異変に立ち向かう（関連記事）。 発売が近づくなか、このたび本作の予約購入者向けに事前ダウンロードが開始された。本作の知的財産表記を確認することが可能となっており、そのなかにはAMD FSR 1.0の記
低解像度の音声データを超解像化をする拡散ベースの生成モデル AudioSR が公表されていました。リンク先に変換サンプルなどもあり、音声や自然音、音楽など幅広いジャンルの例が示されています。高い再現度であるようなので、さっそく試してみました。 インストール!pip install git+https://github.com/haoheliu/versatile_audio_super_resolution実行！GPUメモリを16GBくらい消費します。Google Colab無料枠だとメモリが足らなくて動かない感じでした。 !audiosr -i /content/kurumi.wav変換例変換前（サンプリングレート8kHz）
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
NECエレクトロニクスが、ありとあらゆる動画を高画質にする「超解像技術」を開発しました。 単純に画像拡大処理を行うだけでなく、画像のボケやエッジの粗さを改善するため、過去のビデオテープやDVDなどをハイビジョン液晶テレビで楽しめるようになるほか、ワンセグ放送をWVGA液晶を搭載した携帯電話などで高画質に視聴することが可能になるとのこと。 詳細は以下の通り。 応用分野 | 超解像技術のご紹介 | IPコア | セルベースIC | ASIC | 製品情報 | NECエレクトロニクス このページによると、今回NECエレクトロニクスが開発した「超解像技術」は、2006年にGIGAZINEで紹介した複数枚の画像を組み合わせることで、携帯電話のカメラでも高画質な写真撮影を可能にする従来の「超解像技術」をさらに発展させたもので、1枚のフレーム画像から超解像処理が可能になったほか、処理に必要なメモリ容量を
R&D チームの徳田（@dakuton）です。 最近は画像とテキストの狭間にいます。 今回記事のまとめ 簡単にまとめると以下のとおりです。 いくつかの超解像(高解像度化)モデルがOpenCV extra modules(opencv_contrib)インストール + コード数行記述で導入可能 超解像に限らず、文字が一定サイズ以上になるような前処理 -> OCR解析 を実施すると、OCR精度改善につながることがある 超解像による見た目の滑らかさに比例して、OCR精度改善につながるわけではない 低計算コストな画像拡大から超解像に変更する恩恵は発生しにくい テスト条件を変えた場合、違った結果になる可能性あり(用いるOCRエンジン、画像の劣化条件、OpenCV未提供の後発モデル利用など) 実験内容 利用するOCRエンジンの実行条件は変えずに、前処理部分のみ変更した場合のOCR精度・速度変化を調べま
『スプラトゥーン3』では、AMDの“超解像技術”が採用。『スプラトゥーン3 前夜祭』から体験可能 - AUTOMATON
任天堂のNintendo Switch向けアクションシューティングゲーム『スプラトゥーン3』では、AMDのFidelityFX Super Resolution（以下、FSR）の技術が採用されるようだ。本作を先行体験できる『スプラトゥーン3 前夜祭』の事前ダウンロードが開始しており、同作の知的財産表記に記載されている。 『スプラトゥーン3』は、任天堂のアクションシューティングゲーム『スプラトゥーン』シリーズの最新作だ。プレイヤーは、ヒトの姿になれる不思議なイカとなり、インクを塗れるさまざまなブキを手にバトル。4対4のチームに分かれてインクを塗りあうナワバリバトルや、協力モードのサーモンランNEXT WAVE、また1人用のヒーローモードなどを楽しめる。また本作には、ブキやステージ、カスタマイズ要素などにも新要素が導入されている。 『スプラトゥーン3 前夜祭』は、8月28日9～21時に開催され
東芝REGZAのCMに福山雅治が登場していることが話題になっているが、そこでアピールしているのが、2008年の秋冬モデルのREGZA ZH7000/Z7000/FH7000に搭載した超解像技術。 “超”の響きがややセンセーショナルだが、この“超解像”というキーワードは、採用第一号の東芝が考えたものではなく、画像電子学会などの映像系学術界で用いられる一般技術用語である。だから、ソニーやシャープからも独自の超解像技術を採用した製品が出てくる可能性もあり、実際、東芝も独自の超解像技術に対し「レゾリューション・プラス」というブランド名を付けている。 では、この「超解像」とはどんなテクノロジーなのか。今回の大画面☆マニアでは、この「超解像技術」にスポットをあてた。 ■ 解像度変換技術と超解像技術の違い 超解像技術の本質を解説する前に、ここにきて、超解像技術が急激に注目されるようになったのか、その理由
個人向けのワイド液晶ディスプレイで魅力的な製品を次々と投入し、多くのユーザーから高い評価を受けている三菱電機が、またまた注目すべき新モデルを発売した。画面解像度1920×1080ドットのフルHDに対応した23型ワイドモデル「Diamondcrysta WIDE RDT231WM-X（BK）」だ。 RDT231WM-X（BK）の大きな特徴は3つある。それは、IPS液晶パネルを採用したこと、応答速度の切り替え機能を装備したこと、超解像技術を含む独自の画像処理LSI「ギガクリア・エンジン」を搭載したことだ。製品ラインアップとしては、他社に先行して超解像技術を液晶ディスプレイに採用したことで話題を集めた「RDT231WM」シリーズ（2009年4月発売）の上位機に位置付けられ、動画の表示性能や画質により注力した製品となる。 同社は10月28日に超解像技術を搭載したゲーム向け24.1型ワイドモデル「V
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI超解像で古いビデオがキレイに復元できる「VLC media player 3.0.19」が公開、ゼロデイ脆弱性の修正も／AV1ビデオのハードウェアデコーディングも有効化
【やじうまPC Watch】 あの「waifu2x」を超えた！？アニメに特化したAI超解像技術
低解像度ビデオもすぐに高解像度に変換できる超解像アルゴリズムTecoGANがすごい
Twitter社が発表した超解像ネットワークをchainerで再実装 - 人工言語処理入門
「今までの“超解像”は嘘八百」～「arrows NX」のリアルタイム超解像技術を発明者が解説
世界初を謳うNVIDIA超解像技術採用の恋愛ADVゲーム
「CELL REGZA」詳細仕様。新LED/超解像搭載の最上位TV
AIの力でキレイに ～NVIDIAの超解像ビデオ技術に対応した「VLC media player」が登場／「GeForce RTX 30/40」シリーズでのみ利用可能
オーディオ超解像技術 AudioSR を試す｜はまち
Deep Learningによる超解像の進歩
NECがあらゆる動画を高画質にする「超解像技術」を開発、VHSテープがフルハイビジョン画質に
アイ・オー、VHSなどをPCレスでデジタル化する「アナレコ」。手ぶれ補正、超解像再生も
OCR前処理としてのOpenCV超解像 - OPTiM TECH BLOG
西川善司の大画面☆マニア 第102回：超解像技術とはなにか? ～ 各社が取り組む新映像技術を解説 ～
高速IPS液晶と超解像が光る23型フルHD液晶――三菱「RDT231WM-X（BK）」を攻略する