waifu2xSingle-Image Super-Resolution for Anime-Style Art using Deep Convolutional Neural Networks. And it supports photo. Show full demonstration | Go to GitHub
深層学習を勉強してリアルタイム映像表現に使ってみた話
深層学習を勉強してみたいと思った 動機は２つあって、単純に深層学習流行ってるからやってみたかった、というのと、今後グラフィックス技術を扱っていく際に深層学習は欠かせないものになりそうだと考えた、というのがありました。 例えば、最近 NVIDIA は深層学習を応用したノイズ軽減技術によってモンテカルロ系レンダラーのレンダリング時間を大幅に削減できるとしています。また、Turing 世代の GPU では深層学習を応用した超解像技術によって高解像度動作時のパフォーマンスを大幅に改善できるとしています。ただ僕には、これらの技術がどれほど効果的なものなのか、また本当に実用的なものなのか、判断することができませんでした。 このような深層学習技術の応用は今後様々な場面で進められていくことと思われますが、そういった技術を評価していくにあたって深層学習の基礎知識を備えておくことが必要になると感じています。
lllyasviel.github.io | lllyasviel.github.io
lllyasviel.github.io lllyasviel.github.io 中文版 This is a screenshot of the web APP. If you are a beginner, we recommend you to download the default_refernces.zip. You can get this file by clicking the link marked in red square. Then decompress the zip file and you will get some illustrations like this. There are 15 illustations in the default package with different color. These illustrations are we
Blenderではじめる画像処理 - Qiita
本記事は Blender Advent Calendar 2016 12/08 分として寄稿したものです。 Blender上の画像データをPythonで扱う際の基本的な方法とNumPyやPIL(Pillow)との併用の仕方について、またBlender Python特有の微妙なハマりどころ等を書いていきます。 はじめに 3DCG統合環境であるBlenderには、3Dだけでなく二次元画像を扱うためのコンポジター/イメージペイント機能も用意されてあります。通常はレンダリングの出力を加工したり、モデルのテクスチャを描くといった具合に3D機能に従属したものとして使用されることの多いこれらの機能ですが、純粋に二次元画像を扱うためのツールとしても活用でき、見方によってはBlenderは画像編集ソフトにもなり得ます。 ところで、BlenderはPythonを内蔵しており、PythonスクリプトによってBl
ラフ画へ自動的にペン入れして線画にする恐るべきニューラルネットワーク技術を早稲田大学の研究室が開発
複雑なラフスケッチを、まるで手でペン入れしたかのような線画に自動で変換してくれる新技術が早稲田大学の研究室によって発表されました。 シモセラ・エドガー ラフスケッチの自動線画化 http://hi.cs.waseda.ac.jp/~esimo/ja/research/sketch/ 早稲田大学のシモセラ・エドガー研究院助教らが開発したのは、鉛筆で描いたラフ画を一発で自動的に線画にしてくれる技術。例えば以下の画像でいうと、左側がラフ画スケッチ、右側がニューラルネットワークモデルで線画化したものです。 着物の女の子や…… お祭りっぽい雰囲気の女の子。 かなり線が重なっているように見えるお面のスケッチもこの通り。 複雑なスケッチでもかなりの精度で線画化しているのがわかります。 これまで、スキャンした鉛筆画など複雑なラフスケッチの線画化は非常に困難でした。しかし、新しい手法では3種類の畳込み層から
グラフカット（Graph Cut） - 大人になってからの再学習
ここで説明するグラフカットは、画像の領域抽出などで使用される手法の1つ。 ■ 用途 たとえば、写真画像から背景と前景物を分離したいとか http://www.insight-journal.org/browse/publication/777 CT画像 から臓器の領域だけ取り出したい、という用途で使用される。 http://www.grand-challenge2008.bigr.nl/proceedings/pdfs/lts08/02_cmm.pdf ほかにも、複数の画像をシームレスに接続するとか、ノイズを除去するとか、画像処理に関する幅広い用途で用いられている。 ■ 問題設定 次のエネルギーを最小化する「最小化問題」とみなす。 なるべくデータに忠実に（データ項）、でも、できるだけ滑らかに（平滑化項）領域分けしましょう。と考える。 たとえば、CT画像のなかで、「ある画素値をもつ部分は肝臓
【Deep Learning 画風変換】ポケモンを大神の世界に連れて行ってみた - イーブイの遠洋漁業
みなさんは，画風変換をしてみたい！と思ったことはありませんか？例えばお気に入りの犬の画像を毛筆風にしてみたり，アニメ風にしてみたり・・・ 僕は，「ポケモンを大神（別のゲーム）の世界に連れて行ったらどんな風にデフォルメされるのかな？」と想像を膨らませることがよくあります。 中には自分の頭の中で想像したものを描ける方もいると思うのですが，僕には中々ハードルが高い・・・ そんなことを考えていると，こんな記事を見つけました。 画風を変換するアルゴリズム なぬ！！画風を変換することができる・・だと！？これは気になるぞー このページを見ると，pythonで書かれたプログラム(chainer gogh)が公開されているようなので，さっそくダウンロードして動かしてみました。 今回はサンダースを，アマ公の画風に変換してみます。ワクワクしますね！ サンダース「た，たすけてー」 アマ公「おいでおいでー(^^)」
Engadget | Technology News & Reviews
Comcast launches $20 live TV streaming service with 60 channels
Deep Visual-Semantic Alignments for Generating Image Descriptions
Deep Visual-Semantic Alignments for Generating Image Descriptions We present a model that generates natural language descriptions of images and their regions. Our approach leverages datasets of images and their sentence descriptions to learn about the inter-modal correspondences between language and visual data. Our alignment model is based on a novel combination of Convolutional Neural Networks o
佐村河内問題へのコンピュータビジョン的アプローチ | ぱろすけのメモ帳
序論 近年、全聾の作曲家とされた佐村河内守氏がゴーストライターを用いていたことを告白し、同時に障害者手帳の不正受給も疑われ、大きな問題となっている。その報道の中で、佐村河内氏の容姿が多くの著名人と酷似していること、2月の会見と3月の会見で外見が大きく変化したことが話題となった。 具体的には、2月の会見の時点で話題になったものが 笑 佐村河内を探せ！（勝手に改訂版） pic.twitter.com/3TLFm14PvZ” — FACT (@factjapan) February 7, 2014 であり、3月の会見を踏まえて修正されたものが 佐村河内を探せの最新版ｸｿﾜﾛﾀ pic.twitter.com/ptNhxecCW4 — 天才指揮者bot (@Siegfried_Idyll) March 7, 2014 である。 ここで興味深いのは、佐村河内氏の顔をコンピュータに学習させ、これらの顔
ImageMagick 改造入門 (その参) 減色処理後編 | GREE Engineering
こんにちは。クライアント基盤チームのよやです。 減色処理の話の続きで、ImageMagick の改造についてお話します。 前回 > ImageMagick 改造入門 (その弐) 減色処理前編 ImageMagick 減色処理の３つのフェーズのうち２つ目にあたる「RGB 空間で分割された立方体の統合処理」で特に時間がかかっていたので、少し手を加えて高速化しました。 前回のこの図に相当する処理です。 ImageMagick の既存の処理 前回、説明した「RGB 空間で分割された立方体の統合処理」のより細かい解説です。 統合処理の詳細 既存の ImageMagick の減色処理では、quantize_error の小さい順にRGB色空間内の立方体を削除して、それらのひとつ親の立方体に統合する処理を繰り返します。 対応コード (magick/quantize.c) 望みの色数になるまで繰り返す (
Live2D − 3Dとは異なるアプローチによる本格的な立体表現
株式会社Live2Dでは2006年の創業以来、世界中で使われる技術、100年後にも残り続ける技術を目指して、 映像技術「Live2D」の開発を行っております。 『描きたいとおりに描き、動かしたいとおりに動かす』 そんな夢をクリエイターの皆さんと共有しながら、Live2Dは更なる新次元へと歩み続けます。 Live2D Cubism 1枚の原画から「2Dによる立体表現」を実現する、2Dモデリングのプロフェッショナルスタンダード。 単純化した2Dアニメーションや、3Dモデルを使ったアニメーションとは異なり、原画を直接加工するアプローチを採用。線のタッチや塗りの質感などもそのまま保たれるのが大きな特徴です
よく分からずにトーンカーブを使っている人に。 - kojika17
画像の色調補正する時、何を使いますか？ 私の場合、基本的な画像補正はトーンカーブ1つでほとんど済ませてしまいます。 トーンカーブは使い方が分かれば、簡易的に明度、色調、コントラストなどを補正できる強力なツールになります。 Photoshopベースで紹介しますが、FireworksやGIMPでもトーンカーブを扱えますので、参考になれば幸いです。 トーンカーブのデモで使用する画像は、フリーで配布されているPAKUTASOさんから写真をお借りして、説明します。 トーンカーブ基本 縦軸と横軸は、0から255まで階調を表しています。 画像モードがRGBの場合、縦軸は上から下に向かって暗くなり、横軸は左から右に明るくなります。 横軸が入力、縦軸が出力を表します。もっと噛み砕くと、横軸が元画像の階調、縦軸が補正後の階調です。 斜めに走っている線にはいくつも点が打て、曲線や直角にしたりできます。 階調の出
昨日からネットで大騒ぎ "PhotoSketch"が凄い件：In the looop：ITmedia オルタナティブ・ブログ
Gizmode, CNET, Mashable と立て続けに記事になり，凄すぎると話題のPhotoSketch。 TwitterでもBuzzりまくっています。 【Twitterで旬な話題を調査できる "CrowdEye" より】 (2009年10月7日データ） それでどんなサービスかというと，ラフスケッチの情報をもとに，それに最適な画像をネットが集めてきて，しかも信じられないほど巧妙に合成写真を完成されるというものです。 開発元は Tsinghua University（清華大学）とNational University of Singaporeの共同チーム。 とにかく，まずこの動画を見てください。 PhotoSketch: Internet Image Montage from tao chen on Vimeo. つまり， ごく適当にイメージを書く。 これに名前をつける。 あとはシステ
カルマンフィルター - Wikipedia
カルマンフィルター (英: Kalman filter) は、誤差のある観測値を用いて、ある動的システムの状態を推定あるいは制御するための、無限インパルス応答フィルターの一種である。 実用例[編集] カルマンフィルターは、 離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するために用いられる。レーダーやコンピュータビジョンなど、工学分野で広く用いられる。例えば、カーナビゲーションでは、機器内蔵の加速度計や人工衛星からの誤差のある情報を統合して、時々刻々変化する自動車の位置を推定するのに応用されている。カルマンフィルターは、目標物の時間変化を支配する法則を活用して、目標物の位置を現在（フィルター）、未来（予測）、過去（内挿あるいは平滑化）に推定することができる。 歴史[編集] このフィルターはルドルフ・カルマンによって提唱されたが、同様の原理はトルバル
アルゴリズムの紹介
ここでは、プログラムなどでよく使用されるアルゴリズムについて紹介したいと思います。 元々は、自分の頭の中を整理することを目的にこのコーナーを開設してみたのですが、最近は継続させることを目的に新しいネタを探すようになってきました。まだまだ面白いテーマがいろいろと残っているので、気力の続く限りは更新していきたいと思います。 今までに紹介したテーマに関しても、新しい内容や変更したい箇所などがたくさんあるため、新規テーマと同時進行で修正作業も行なっています。 アルゴリズムのコーナーで紹介してきたサンプル・プログラムをいくつか公開しています。「ライン・ルーチン」「円弧描画」「ペイント・ルーチン」「グラフィック・パターンの処理」「多角形の塗りつぶし」を一つにまとめた GraphicLibrary と、「確率・統計」より「一般化線形モデル」までを一つにまとめた Statistics を現在は用意していま
類似画像検索システムを作ろう - 人工知能に関する断創録
C++版のOpenCVを使ってカラーヒストグラムを用いた類似画像検索を実験してみました。バッチ処理などのスクリプトはPythonを使ってますが、PerlでもRubyでも似たような感じでできます。 指定した画像と類似した画像を検索するシステムは類似画像検索システムと言います。GoogleやYahoo!のイメージ検索は、クエリにキーワードを入れてキーワードに関連した画像を検索しますが、類似画像検索ではクエリに画像を与えるのが特徴的です。この分野は、Content-Based Image Retrieval (CBIR)と呼ばれており、最新のサーベイ論文（Datta,2008）を読むと1990年代前半とけっこう昔から研究されてます。 最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定するそうですが、今回は、もっとも簡単な「色」を用いた類似画像検索を実験してみます
Web上の膨大な画像に基づく自動画像補完技術の威力 - A Successful Failure
画像内に映り込んだ所望のオブジェクトを排除し、違和感の無い画像を生成するシーン補完技術に関しては近年複数の研究成果が発表されている。しかし中でも2007年のSIGGRAPHにて米カーネギメロン大のJames HaysとAlexei A. Efrosが発表した手法*1はブレークスルーとなりうる画期的なものだ。 論より証拠、早速適用例を見てみよう。本エントリで利用する画像はPresentationからの引用である。元画像の中から邪魔なオブジェクト等の隠蔽すべき領域を指定すると、その領域が補完された画像が自動的に生成される。 アルゴリズム 効果は抜群だがアイデア自体は単純なものだ。Web上には莫大な数量の画像がアップされており、今や対象となる画像の類似画像を一瞬にして大量に検索することができる。そこで、検索された類似画像で隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するのだ。
はてなのCAPTCHAは簡単に破れる
CAPTCHAをご存知でしょうか。 スパム防止のために歪んだ文字とかを入力させる、アレのことなのですが、 はてなのCAPTCHAの強度が妙に低く思えたので検証してみました。 CAPTCHAというのはいわゆる逆チューリングテストという奴で、 人間には可能だが機械には処理しにくいことをさせることで、 ロボットによる操作を弾こうというものです。 たとえば、Gmailのユーザ登録には以下のような画像が表示され、 表示されている文字を入力することが求められます。 CAPTCHAの強度 例えばスパムを送るために大量のGmailアカウントを得ようとしてる人がいたとします。 手作業でGmailを登録するのは骨が折れる。 そこでプログラムによる機械化を試みることになるわけです。 その際、障壁となるのがこのCAPTCHAなのです。 この画像から正解である文字列"vittac"を得ることは機械には難しい。 プロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
