NVIDIA、画像内の一部を削除しリアルに修復するDeep learningを用いた画像修復技術を発表 2018-04-23 NVIDIAの研究チームは、画像内の一部を削除し修復するDeep learningを用いた画像修復法を発表しました。 論文：Image Inpainting for Irregular Holes Using Partial Convolutions 著者：Guilin Liu, Fitsum A. Reda, Kevin J. Shih, Ting-Chun Wang, Andrew Tao, Bryan Catanzaro 本稿は、画像内の修正したい箇所をマスクし、除去したあとを自然に見せる代替を生成し再構築するモデルを提案します。不規則な形状のマスクでも画像修復できるDeep learningモデルです。 本提案手法は、最初にニューラルネットワークを訓練するた

コーネル大学とNVIDIA、1枚の画像を多様な画像に変換する敵対生成学習GANを用いたフレームワーク発表 2018-04-17 コーネル大学とNVIDIAの研究者らは、1枚の画像を多様な画像に変換する敵対生成学習を用いたフレームワーク「Multimodal Unsupervised Image-to-image Translation （MUNIT）」を発表しました。 論文：Multimodal Unsupervised Image-to-Image Translation 著者：Xun Huang, Ming-Yu Liu, Serge Belongie, Jan Kautz GitHub:NVlabs/MUNIT 本稿は、1枚の画像から多数の画像に変換する機械学習を用いた手法を提案します。上図のように、猫を犬に変換したり、猫をトラやライオンに変換したり。 提案手法では、画像をコンテンツ

MIT、機械学習を用いて内部的に発した言葉（実際には声を出していない言葉）を読み取るサイレント音声認識技術を発表 2018-04-05 MIT（マサチューセッツ工科大学）の研究者は、内部的に発した言葉（実際には声を出していない言葉）を読み取るサイレント音声認識技術「AlterEgo」を発表しました。 本技術は、実際に声を出していない言葉を読み取る内部音声認識デバイスを提案します。口元に密着するウェアラブル装置を使用し、装置に整備された4つの電極からユーザの顎や顔の神経筋信号を読み取ることで言葉を予想します。人には検出できない内部の微妙な動きを検出します。 単語と結びつける推定には、訓練された機械学習システムを用いており、ニューラルネットワークを使用して、特定の神経筋信号と特定の単語との相関関係を見出します。実験では、約92％の精度で正しく認識することができたと報告します。 また、骨伝導ヘッ

Ikeaの家具の組み立て方をARを用いて教えてくれるコンセプトアプリ「Assemble AR」が登場 2018-03-23 ARを用いてIkeaの家具の組み立て説明をしてくれるコンセプトアプリ「Assemble AR」が登場しました。 Adam Pickard氏によって提案された本アプリは、Ikeaの家具の組み立て方を、現実空間に重ねるようにアニメーションで説明してくれるアイディアです。 購入した家具のパッケージについてあるバーコードをスマートフォンを使用して読み取るところから始まります。マニュアルを読み取り、ステップ1からと順次、何をどこにどうやって組み立てていくのかといった情報を実寸大に近い3Dオブジェクトと交えながら教えてくれます。 Ikeaは、AR技術を活用し部屋の中に実寸大の家具を設置できるアプリを開発しましたが、今回のアプローチはその延長線上のサービス向上アプリと言えるかもしれ

Epic Gamesは、3Lateral、Cubic Motion、Tencent、Viconと共同で作成したリアルタイムモーションキャプチャの最新デモ映像を公開しました。 映像では、中国人女優をベースに作成したデジタルキャラクタを、モーションキャプチャシステムを使用して顔の表情含め、体全体をリアルタイムに動作させている様子が映し出されます。

東京大学、人間のジャンプ力を拡張させるバックパック型マルチロータ「Lunavity」発表 2018-03-14 東京大学大学院情報学環 暦本研究室の学生と研究員を中心とした開発チームは、人間のジャンプ能力を増大させるバックパック型マルチロータ「Lunavity」を発表しました。 Lunavityは、合計16個のロータを備えたマルチロータで、人間の飛躍力を拡張する技術です。バックパックのように背負うことで装着します。 複雑な操作をする必要もなく、人間の動きに合わせて機能するので、直感的なジャンプ動作で利用することが可能です。使用者は、まさに月を歩いているかのように重力が軽減された状態を体験することができます。

和歌山大学、遠隔地間を枠（ポータル）でつなぐARビデオチャットシステム「ドアコムAR」発表。相手が空間に侵入してくる感覚を表現 2018-03-10 和歌山大学：吉野研究室の研究者らは、AR技術を用いて遠隔地間を枠でつなぐビデオチャットシステム「ドアコムAR」を論文にて発表しました。 論文：ドアコムAR：ポータルを用いた空間接続表現手法による対話相手の存在感の強化 著者：濵上 宏樹、吉野 孝 本稿は、AR技術を用いて実際の空間に枠（本研究ではポータルと呼ぶ）を出現させ、枠を境界として遠隔地間を繋ぐ映像表現手法を提案します。 提案手法では、侵入側と被侵入側に別れ、サーバを通してデータ通信を行います。 侵入側：Kinectで深度情報を取得し、3次元点群データを生成。Joy-Conを用いてポータルの出現座標を制御。被侵入側から受信した3次元データで空間内での枠の座標の位置合わせを行う。 被侵入側

Google、CNNを用いて人物などの前景と背景を分離するモバイルベースのリアルタイムビデオセグメント技術を発表。YouTubeに統合 2018-03-02 Googleは、CNN（Convolutional neural network）を用いて人物などの前景と背景をリアルタイムに分離できる新しいセグメンテーション技術を発表しました。 本技術は、モバイルで撮影した人物と背景を分離し、背景を自由に変えることを可能にする軽量ビデオフォーマットです。クロマキー合成のように特殊な機材などを使用することなく、モバイルベースで手軽に行うことができます。 この機能は、YouTubeにおいて動画をスマートフォンなどで撮影/編集/投稿するストーリーフォーマットに統合され、機能の一つとして利用することが可能になります。 機械学習も用いており、背景から前景を分離するなどの計算処理能力を上げるため、CNNアーキ

米国のチーム「Piccolo」は、ジェスチャで部屋の照明やテレビなどを操作するコンピュータビジョンベースのアシスタントシステムを構築しています。 ジェスチャ検出にはスマートなカメラが使用され、ユーザは自宅にカメラを設置してテレビやライトといった家電と連結させます。単に電源をON/OFFするだけでなく、映像の早送りや音量調整などもできるとします。 同社は、この追跡技術をGRP（Gesture Recognition Pipeline）と呼び、モーショントラッキング、姿勢推定、3D再構成、deep learning技術から人とジェスチャをリアルタイムに識別します。特許も取得しているとのこと。 関連 Facebook AI Researchら、密集した人間の姿勢を2D画像から推定し、人の表面にテクスチャマッピングできるCNNを用いたシステム「DensePose」を発表 | Seamless

ハーバード大学、水晶体を動かす筋肉を人工筋肉で再現しリアルタイムの焦点調整や収差補正を可能にするフラットでシングルなメタレンズを発表 2018-02-26 ハーバード大学「SEAS（John A. Paulson School of Engineering and Applied Sciences）」の研究者らは、人工筋肉技術を取り入れ人間の目のようにリアルタイムに焦点調整を可能にするフラットレンズ「Adaptive metalens（アダプティブメタレンズ）」を発表しました。 このアダプティブメタレンズは、ぼやけた画像の主な原因の3つ、焦点、非点収差、イメージシフトを同時に制御します。フラットレンズでありながら、オートフォーカスを実現するとともに、光学収差の補正と光学的な画像安定化の機能制御を実現します。 これまで同研究室は、集光にナノ構造を取り入れることで、色収差の除去および波長の光を

カリフォルニア大学、動物の毛皮を現実的に再現するニューラルネットワークを用いた新手法を発表。毛内部に浸透する光の乱反射も考慮。10倍高速に 2018-02-22 UCサンディエゴとUCバークレーの研究者らは、動物の毛を現実的にかつ高速にシミュレーションするニューラルネットワークを用いた生成手法を発表しました。 論文：A BSSRDF Model for Efficient Rendering of Fur with Global Illumination 著者：LING-QI YAN, WEILUN SUN,HENRIK WANN JENSEN, RAVI RAMAMOORTHI 光が毛皮に反射する方法を改良することで、より正確なレンダリングを実現しました。具体的には、「表面下散乱（Subsurface Scattering）」を取り入れたことです。 表面下散乱とは、半透明な物体の内部で光

家事ロボットを構築するため、部屋の仮想空間でアクションを訓練できるバーチャルAIシミュレーションシステム「AI2-THOR」 2018-02-17 「AI2-THOR」は、家事をするロボットを構築するため、家庭環境ベースの仮想空間（バーチャルハウス）で訓練できるバーチャルAIシミュレーション・プラットフォームです。 GitHub:allenai/ai2thor 自律走行車や自律型ドローンを仮想空間で訓練させるアプローチはいろいろ出ていますが、これを家庭で使用するロボット向けに応用したのが本システムです。AIエージェントは、部屋のシーンを使用してオブジェクトとやりとりする方法を学ぶことができます。 オープンソースがすでに公開されており、バージョン1.0では、キッチン、リビングルーム、ベッドルーム、バスルームの4つのルームカテゴリが用意されています。 また、各部屋には多くのアクション可能なオブ

手話から「文章」にリアルタイム自動翻訳するコンピュータビジョンと機械学習を用いたシステム「SignAll」手だけでなく上半身の動作や表情なども加味 2018-02-15 ハンガリー：ブダペストに本拠を置くチーム「SignAll」は、機械学習とコンピュータビジョン技術を用いて画像から手話をリアルタイムに翻訳するシステムを開発しています。 SignAllが開発するシステムは、コンピュータビジョンと自然言語処理（NLP）に基づいた自動手話翻訳ソリューションです。プロトタイプでは、3つのウェブカメラと1つの深度センサを用いて構築されます。 深度センサとカメラで手の形状、手の動き、手のひらの方向、上半身の関節運動、表情などを画像から連続的に追跡し特徴を取得、自然言語処理モジュールにてその特徴を文法的に形成された文章に変換します。 システムは、順番に提示された個々の単語だけでなく、完全な文章で動作する

Google DeepMind、複数のタスクを同時に訓練する効率的な分散アーキテクチャ「IMPALA」を発表 2018-02-13 Google DeepMindは、複数のタスクを同時に訓練する効率的な分散アーキテクチャ「IMPALA（Importance-Weighted Actor-Learner Architectures）」を発表しました。 論文：IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures 著者：Lasse Espeholt、Hubert Soyer、Remi Munos、Karen Simonyan、Volodymir Mnih、Tom Ward、Yotam Doron、Vlad Firoiu、Tim Harley、Iain Dunning、Sh

MIT、障害物を回避しながら時速約32kmで自律飛行可能なドローンシステム「NanoMap」発表。深度センサで周囲を計測。不確実性がキー 2018-02-12 マサチューセッツ工科大学（MIT）CSAILの研究者らは、都市や森林などの密集した環境でも毎時20マイル（約32km）でドローンを自律飛行させることを可能にするシステム「NanoMap」を開発しました。 NanoMapは、ある程度のスピードを維持しながら障害物を回避し自律飛行させることができるシステムです。 システムは、自己位置推定のSLAM（Simultaneous Localization and Mapping）を使用せず、深度センサを用いてリアルタイムに周囲を測定します。これにより、障害物との関係を理解し​​、回避するためにコースをどのように変更する必要があるかを予測することができます。 また、不確実性が重要と言います。それ

VRブロードキャストプラットフォームを開発する米シアトルベースのスタートアップ「VREAL（Virtual Reality Entertainment And Livestreaming）」は、Axioma Venturesが率いるシリーズAラウンドで1,170万ドルを資金調達したことを発表しました。 ラウンドは、Axioma VenturesのほかにIntel Capital、AET Fundが名を挙げます。また、既存の投資家にはUpfront Ventures、Vulcan Capital、CRCM Venturesが含まれます。 現在開発中のプラットフォームは、VRでゲーム実況する様子をリアルタイムに他のVRユーザもしくは2Dモニタユーザに放送することができるサービスです。視聴者は、放送されているVR内にアバターとして参加し閲覧することができます。 VRデバイスがない2Dモニタのユー

CTスキャンした画像を患者に重ね合わせAR表示しながら再建外科手術をするアプローチ。HoloLens使用 2018-02-06 英国のインペリアル・カレッジ・ロンドン（Imperial College London、ICL）は、CT画像を患者の足などに重ねてAR表示しながら外科手術をするアプローチを発表しました。 本アプローチは、損傷した手足などの再建手術で使用することを想定しています。CTでスキャンした画像を患者の足に重ね合わせることで、外科医はMicrosoft HoloLensを通して、骨や主要な血管の位置を正確かつ迅速に把握することができます。 この手術の重要なプロセスに、血管を創傷部位の血管に接続するステップがあり、これまではハンドヘルド超音波スキャナを使用し血管の位置を突き止めていました。しかし、本アプローチを利用すると、その行為が効率的に行うことができるとしています。 関連