タグ

ブックマーク / iizuka.cs.tsukuba.ac.jp (3)

  • 飯塚里志 — ディープネットワークによる画像補完(SIGGRAPH 2017)

    概要: 研究では,畳み込みニューラルネットワークを用いて,シーンの大域的かつ局所的な整合性を考慮した画像補完を行う手法を提案する.提案する補完ネットワークは全層が畳み込み層で構成され,任意のサイズの画像における自由な形状の「穴」を補完できる.この補完ネットワークに,シーンの整合性を考慮した画像補完を学習させるため,物の画像と補完された画像を識別するための大域識別ネットワークと局所識別ネットワークを構築する.大域識別ネットワークは画像全体が自然な画像になっているかを評価し,局所識別ネットワークは補完領域周辺のより詳細な整合性によって画像を評価する.この2つの識別ネットワーク両方を「だます」ように補完ネットワークを学習させることで,シーン全体で整合性が取れており,かつ局所的にも自然な補完画像を出力することができる.提案手法により,様々なシーンにおいて自然な画像補完が可能となり,さらに従来の

    stealthinu
    stealthinu 2017/05/01
    うっわ。今まで見たGANの中で一番自然に画像生成されてると思う。DiscriminatorをGlobalとLocalにわけたのが効果的だったのか。「関連手法との比較」が圧倒的。ところで日本はCelebAに代わるAnimeAデータセットを作るべき。
  • 飯塚里志 — ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け

    概要: 研究では,ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する.提案手法では,画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで,画像全体の構造を考慮した自然な色付けを行うことができる.提案モデルにおいて,大域特徴は画像全体から抽出され,局所特徴はより小さな画像領域から計算される.これらの特徴は“結合レイヤ”によって一つに統合され,色付けネットワークに入力される.このモデル構造は入力画像のサイズが固定されず,どんなサイズの画像でも入力として用いることができる.また,モデルの学習のために既存の大規模な画像分類のデータセットを利用し,それぞれの画像の色とラベルを同時に学習に用いることで,効果的に大域特徴を学習できるようにしている.提案手法により,100年前の白黒写真など,様々な画像において自然な色付けを実現できる.色付けの結果はユー

    stealthinu
    stealthinu 2017/01/12
    ディープラーニングによる白黒画像の色付け。2016年の早稲田の方の研究。
  • Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification

    Abstract: We present a novel technique to automatically colorize grayscale images that combines both global priors and local image features. Based on Convolutional Neural Networks, our deep network features a fusion layer that allows us to elegantly merge local information dependent on small image patches with global priors computed using the entire image. The entire framework, including the globa

    stealthinu
    stealthinu 2016/04/22
    deep learningで写真に彩色。どんな場所かの大枠を解釈するのと普通に画像的に解釈するのと2回路作って後でそれを合わせてその情報を元にカラー情報を生成する回路を作り重ねあわせてる。
  • 1