画像内に映り込んだ所望のオブジェクトを排除し、違和感の無い画像を生成するシーン補完技術に関しては近年複数の研究成果が発表されている。しかし中でも2007年のSIGGRAPHにて米カーネギメロン大のJames HaysとAlexei A. Efrosが発表した手法*1はブレークスルーとなりうる画期的なものだ。 論より証拠、早速適用例を見てみよう。本エントリで利用する画像はPresentationからの引用である。元画像の中から邪魔なオブジェクト等の隠蔽すべき領域を指定すると、その領域が補完された画像が自動的に生成される。 アルゴリズム 効果は抜群だがアイデア自体は単純なものだ。Web上には莫大な数量の画像がアップされており、今や対象となる画像の類似画像を一瞬にして大量に検索することができる。そこで、検索された類似画像で隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するのだ。
TinEye Reverse Image
TinEye is an image search and recognition company. We are experts in computer vision, pattern recognition, neural networks, and machine learning.
画像処理は難しい。 Instagramのキレイなフィルタ、GoogleのPhoto Sphere、そうしたサービスを見て画像は面白そうだ！と心躍らせて開いた画像処理の本。そこに山と羅列される数式を前に石化せざるを得なかった俺たちが、耳にささやかれる「難しいことはOpenCVがやってくれるわ。そうでしょ？」という声に身をゆだねる以外に何ができただろう。 本稿は石化せざるを得なかったあの頃を克服し、OpenCVを使いながらも基礎的な理論を理解したいと願う方へ、その道筋(アイテム的には金の針)を示すものになればと思います。 扱う範囲としては、あらゆる処理の基礎となる「画像の特徴点検出」を対象とします(実践 コンピュータビジョンの2章に相当)。なお、本記事自体、初心者である私が理解しながら書いているため、上級画像処理冒険者の方は誤りなどあれば指摘していただければ幸いです。 画像の特徴点とは 人間が
はじめに エンジニアやデータサイエンティストの人材育成のためのオープンソースな教材を探していたらMicrosoftがGitHubでかなり質の高い教材をweb開発、データサイエンティスト、機械学習、IoTの四項目を対象に提供してるのを発見したため共有したいと思う。 正直、マイクロソフトと聞くとGoogleやらFacebookに比べていけてないイメージを持っていたけど、実際にMicrosoftのGitHubレポジトリを見て、彼らはここ数年で大きく変わったように思える。特に人材育成や学習教材に関しては世界一かもしれないなんて思っています。本記事では筆者が自信を持っておすすめするMicrosoftのオープン教材を紹介するのでぜひ自身の勉強や人材育成に生かしてもらえれば本記事を執筆した甲斐があります。（もちろん僕がお勧めしているだけでなくてGitHubのスター数も多く世界的に認められています！） こ
一昔前は実世界の建築物を元にウォークスルー可能な3D空間を構築しようと思ったら、まず各部屋の形状を計測器を用いて計測し、その計測結果に基づいて人手でモデル化し、領域ごとにテクスチャを貼り、照明を設定して……と気の遠くなるような作業が必要だった。3D空間の構築は極めてコストの高い作業だったが、近年では2次元画像（実写写真）に基づいた3D空間の構築手法が長足の進歩を遂げており、以前に比べれば極めて低コストに3D空間を構築する事が可能となっている。 【告知】Twitterはじめました。@LunarModule7です。 興味のあるかたはフォローくださいとしばらく宣伝。 今ではバラバラに撮影した写真から、全自動で3D空間を構築し、内部を自由にウォークスルーできるようになっている。ワシントン大学とMicrosoft Reseachが2009年に発表した研究*1は現時点における集大成とも言えるものとなっ
米スタンフォード大学が「機械学習」「データベース」「人工知能」の無料オンライン授業を今秋から開始 − Publickey
米スタンフォード大学は、今秋から同大学で行われているコンピュータサイエンスの講義のうち、3つのコースをオンラインで無料公開することを発表しました。 公開されるのは、「Machine Learning」（機械学習）、「Introduction to Databases」（データベース入門）、「Introduction to Artificial Intelligence」（人工知能入門）の3コース。どのコースも今年の10月に開講し12月に終了する3カ月間の予定。コースによっては実際の講義とほぼ同様の宿題も用意され、提出すると自動採点してくれるようです。 機械学習のコースを担当するAndrew Ng准教授は発表の中で次のようにコメントしています。 “Both in the United States and elsewhere, many people simply do not have a
というのを作ったので自己紹介します。 2月頃から、コンピュータでアニメ顔を検出&解析する方法をいろいろ試しつつ作っていて、その成果のひとつとして、無理やり出力したライブラリです。 はじめに はじめにざっとライブラリの紹介を書いて、あとのほうでは詳細な処理の話を僕の考えを超交えつつグダグだと書きたいと思います。 Imager::AnimeFaceでできること Imager::AnimeFaceは、画像に含まれるアニメキャラクター的な人物の顔の位置を検出し、さらに目や口など顔を構成する部品位置や大きさの推定、肌や髪の色の抽出を簡単に行うことができるライブラリです。 これらが可能になると、 画像から自動でいい感じのサムネイルを作成できる 動画から自動でいい感じのサムネイルを作成できる 自動的にぐぬぬ画像が作れる 自動的に全員の顔を○○にできる 顔ベースのローカル画像検索 など、最新鋭のソリューシ
前回、『写真に基づく3D空間構築手法の到達点』としてバラバラの写真から3D空間を構築する手法について取り上げた。コメントで言及された人もおられたが、MicrosoftはPhotosynthとして、同様にStructure-from-Motion (SfM)を用いて写真をつなぎ合わせ、インタラクティブにブラウズできるPhotosynthを公開している。 Photosynth Overhead View on Vimeo Photosynth + Bing Maps on Vimeo 現在、研究レベルではWeb上にアップされた不特定多数のユーザによる膨大な写真から街一つを再現するプロジェクトが推進されている。その名も"Building Rome in a Day"（ローマを一日にして成す）だ。下の動画はFlickr検索された画像から生成された3Dモデルを示している。本エントリでは、論文*1に基
Reference Manual OpenCV-2.x(svn) C: リファレンス日本語訳 C++: リファレンス日本語訳 OpenCVチートシート(C++)（訳） OpenCVユーザガイド（訳） Python: リファレンス日本語訳 Google Test-1.6 Google Test ドキュメント日本語訳 Google Mock(svn) Google Mock ドキュメント日本語訳 OpenCV-2.2(r4295相当) C: リファレンス日本語訳 C++: リファレンス日本語訳 OpenCVチートシート(C++) （訳） Python: リファレンス日本語訳 OpenCV-2.1(r2997相当) C: リファレンス日本語訳 C++: リファレンス日本語訳 OpenCVチートシート(C++) （訳） Python: リファレンス日本語訳 OpenCV-1.1pre C/C++:
オッサンになるというものは辛い。 Facebookを頑張って始めて、色々と投稿していたのに、最近「いいね！」をくれるのは同世代か上の世代だけになってしまった。気づいたらイケてる若者は撤退していた。辛い。 次に若作りのつもりでInstagramを始めたが、「インスタ始めたんだよね！」と会社の若い奴らに話しかけてみると、「オッサン層がインスタに攻め込んでくる、このときがついに来たか」と口にはしないものの、微妙な表情を一瞬だけ見せる。ワシを褒めてほしかったのにな。辛い。 でもLINEはなかなか便利だし、やっと慣れてきた。と思っていたら、あるときから自分の子供に連絡しても、なかなか既読がつかないので、「最近なんで無視するんだ」と家で叱ったら「いちいちLINEで説教してくる親がいるからウゼーんだよ。」と反抗期の息子に言われた。辛い。一応ネットで調べたら、若者のLINE離れの兆しも出てきているらしい。
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
C++版のOpenCVを使ってカラーヒストグラムを用いた類似画像検索を実験してみました。バッチ処理などのスクリプトはPythonを使ってますが、PerlでもRubyでも似たような感じでできます。 指定した画像と類似した画像を検索するシステムは類似画像検索システムと言います。GoogleやYahoo!のイメージ検索は、クエリにキーワードを入れてキーワードに関連した画像を検索しますが、類似画像検索ではクエリに画像を与えるのが特徴的です。この分野は、Content-Based Image Retrieval (CBIR)と呼ばれており、最新のサーベイ論文（Datta,2008）を読むと1990年代前半とけっこう昔から研究されてます。 最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定するそうですが、今回は、もっとも簡単な「色」を用いた類似画像検索を実験してみます
はじめにこの記事は、放送大学の（主に情報コースを中心とする）学生さん向けに、私の履修済み科目の感想と主観的評価を共有して、履修計画の参考にしていただくことを目的に作成しました。下記の記事の通り、2019年-2020年の2年間で情報コースの科目を8割方履修したのでそれなりの網羅性があるかと思います。 （2023年2月追記）その後、選科履修生として履修した他コースの科目や大学院科目などを追加して112科目掲載しています。試験難易度については履修時期によって会場試験・在宅ペーパー試験・在宅Web試験が混在しているので参考程度でお願いします。 タイトルは私が現役生の時に通っていた大学の似たような評価システムから拝借しました。 以下の科目は基本的にナンバリングが低い順に並べています。閉講済みの科目も混じっていますが、記録と後継科目の参考のために残しておきます。あくまで全て（上記の記事にある通り、文系
XRと私｜xyx
VRChatは実質無料 VRChatを使用しているといつの間にかPCやVRデバイスを買っていたり、創作に目覚めてプロ向けソフトを買って数万円～数十万円が消滅する現象。私の場合、”VRChatをやっていたら転職していた件について”。 客観的にはこの記事もまたありふれた「お気持ち表明」だけど、この判断をしたことを後悔しないように、過程を公開記述しておこうと思う。もしかすると面白い読み物になるかもしれない。 端的にいうと、VRChatで出会った人たちに心動かされて、そしてVRの可能性を再び目の当たりにして、この流れにどう貢献できるかと考えた結果転職するのが最善という結論に至った。 思い返してみると、2012年に初代Oculus Rift DK1を支援した前後の数年間は、ARとVR、つまりXR全体に対してかなり色々な思いがあったはずなのに、業務でプログラムを書くようになってからは久しく忘れていた。
手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]
ディープラーニングは習うより慣れろかも ファッションでディープラーニングをしているディープラーニング芸人からあげです。私は、特に専門家でも何でもないのですが、機械学習に興味もって、ディープラーニングに関することブログでアウトプットしているうちに「AIに関する本に名前がクレジットされたり」「AI解析のオンラインコンテスト#Aidemynoteで特別賞受賞したり」「ラズパイマガジンという商業誌にAI関係で記事を書いたり」「ディープラーニングおじさんの記事がバズったあげくITmediaで取り上げられたり」と多少なりとも価値を提供できるようになってきました。 何の知識もバックグラウンドも、大した能力も無い自分が、どうやって知識を身につけることができたかというと、色々本も読んだのですが、実際に手を動かしてプログラムを組んで、実問題に対して試行錯誤した結果をブログにアウトプットし続けたことが大きいのか
![手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9046fd088b617abd85f292067c0ab3cbdd95f3d5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20181016%2F20181016230453.jpg)
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
アダルト画像が含まれているか判定できるAPIを使って、家族の入浴写真を分析してみた：はじめてのAI 画像から年齢や性別を認識する「Face API」と感情を認識する「Emotion API」を使えるようになった筆者。今回は、これまでで1番多くの情報を得ることができる「Computer Vision API」を学びます。 AIについて学びたくて、この春から勉強を始めた筆者。日本マイクロソフト テクニカルエバンジェリスト大田昌幸（おおたまさゆき）先生に教えてもらい、Microsoftが公開しているAPIを使って、AIを学んでいます。 これまで、画像から年齢や性別を認識する「Face API」と感情を認識する「Emotion API」を勉強してきましたが、いよいよ今回は画像から多くの情報を得ることができる「Computer Vision API」を使ってみます。 Computer Vision
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web上の膨大な画像に基づく自動画像補完技術の威力 - A Successful Failure
画像処理の数式を見て石になった時のための、金の針 - Qiita
初学者に教えたい、MicrosoftがGitHubで公開している教材が最高だった！ - Qiita
写真に基づく3D空間構築手法の到達点 - A Successful Failure
Perlでアニメ顔を検出＆解析するImager::AnimeFace - デー
Web上の膨大な写真からローマを1日で構築する方法 - A Successful Failure
OpenCV.jp
おっさんが『Tiktok』をガチでやってみた話 - 🎄toricago🎄
30分で完全理解するTransformerの世界
類似画像検索システムを作ろう - 人工知能に関する断創録
放送大学マイルストーン('23)｜lumpsucker
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
アダルト画像が含まれているか判定できるAPIを使って、家族の入浴写真を分析してみた