Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国の華中科技大学と北京大学による研究チームが開発した「Semantically Multi-modal Image Synthesis」(SMIS)は、画像をオブジェクトごとにクラス分けし、部分的に画像を入れ替えて合成する深層学習ベースの手法だ。 画像のクラス分けには、ラベルを使って関連付けを行うセマンティックセグメンテーションを用いる。各画素に何が写っているのかを1つ1つ推定し、画像内で領域を分類しクラス分けする。 各クラスに応じたコントローラーで調整することで、対応する部分だけ画像を変換する。このような画像合成では従来、各クラスごとに生成ネットワークを構築し、異なるネットワークの出力