米スタンフォード大学に所属する研究者らが発表した論文「Evaluating Verifiability in Generative Search Engines」は、4つの人気の生成型検索エンジンの検索結果がどれだけ信頼できるかを人間による評価で検証した研究報告である。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 生成型検索エンジンは、入力クエリに対する応答をインライン引用とともに直接生成することで、ユーザーの情報ニーズを満たす。2023年3月、Microsoftは、「プレビューユーザーのおよそ3分の1が毎日（Bing）チャットを使用している」と報告しており、急速にユーザーが増え続けている。 だが、生成型検索エンジンは、人々がオンラインで情報を見つける方法を変える可能性を秘めているが、

TOPコラム海外最新IT事情GPT-4は「化学実験」を自律して行えるか？　化学データと研究用機器操作の権限を与え検証　毒や生物兵器開発に警鐘も【研究紹介】 GPT-4は「化学実験」を自律して行えるか？　化学データと研究用機器操作の権限を与え検証　毒や生物兵器開発に警鐘も【研究紹介】 2023年4月21日 米カーネギーメロン大学に所属する研究者らが発表した論文「Emergent autonomous scientific research capabilities of large language models」は、化学実験の自律的な設計、計画、実行のために、複数の大規模言語モデルを組み合わせたインテリジェント・エージェント・システムを提案した研究報告である。GPT-4にプロンプトと化学データベースへのアクセス、研究用機器への制御を与えると、化学実験を自律的に行えるかを検証する。 大規模言

体内に電気回路を直接3Dプリント、線虫で成功。脳内に回路をレーザー印刷する未来へ【研究紹介】 2023年4月19日 英ランカスター大学や英リバプール大学などに所属する研究者らが発表した論文「Creating 3D Objects with Integrated Electronics via Multiphoton Fabrication In Vitro and In Vivo」は、導電回路を生体に直接3Dプリントする技術を提案した研究報告である。生きた線虫（センチュウ）で試し、生体内に星形や四角形の導電回路形成に成功し、その有効性を示した。 ▲生きた線虫に導電性回路を3Dプリントした顕微鏡画像 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 展望 心臓のペースメーカー、バイオニックアイ、バイオニ

TOPコラム海外最新IT事情自分が写る写真を画像生成AIから守る。予め写真に「毒」を盛り、学習されても違う画像を出力させる技術　ベトナムの研究者らが開発 自分が写る写真を画像生成AIから守る。予め写真に「毒」を盛り、学習されても違う画像を出力させる技術　ベトナムの研究者らが開発 2023年4月12日 ベトナムのVinAI Researchに所属する研究者らが発表した論文「Anti-DreamBooth: Protecting users from personalized text-to-image synthesis」は、テキストから画像を生成する拡散モデルに悪用されないために、自分の顔が写った画像を防御する手法を提案した研究報告である。自分が写った画像をネット上に公開する前に、敵対的ノイズ（摂動）をその画像に注入する。これにより画像生成モデルがその顔を学習し、悪意ある画像を生成しても、

米Indiana University Bloomingtonなどに所属する研究者らが発表した「Brain Organoid Computing for Artificial Intelligence」は、実験室で育てた人間の脳細胞をコンピュータに接続して数式を解くことに成功した研究報告である。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 評価 脳がどのように機能しているのかという問いに答える新たな手法として、ES細胞から脳に類似した組織を作る研究が登場した。この組織体は、細胞自身が備えているプログラムに従い、自発的に自身の組織を作る特徴を持つ。このような特徴である組織体は、後に「脳オルガノイド」と呼ばれるようになる。 そして、人工的に多様な細胞へと分化できるiPS細胞の登場により、脳オルガノイ

米UIUCとUCバークレーに所属する研究者らが発表した論文「TrojDiff: Trojan Attacks on Diffusion Models with Diverse Targets」は、拡散モデルにマルウェア（トロイの木馬）攻撃を仕掛けてみた研究報告である。 ▲（上段）正常な拡散モデル（中央と下段）トロイの木馬に感染させた拡散モデルの生成プロセス keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 実証実験 keyboard_arrow_down そのほかの実験画像 近年、拡散モデルが新しい競争力のある深層生成モデルとして登場し、様々なデータモダリティにおいて高品質なサンプルを生成する素晴らしい能力を示している。これらの成果は、多様なソースから収集された大規模なトレーニングデータに依存している

見ている画像を脳活動から画像生成AIが高品質に再現　フランスの研究者ら「Brain-Diffuser」開発【研究紹介】 2023年3月17日 フランスのCerCo、トゥールーズ大学、ANITIに所属する研究者らが発表した論文「Brain-Diffuser: Natural scene reconstruction from fMRI signals using generative latent diffusion」は、潜在拡散に基づく生成モデルを用いてfMRI（磁気共鳴機能画像法）パターンから画像を再構成するフレームワークを提案した研究報告である。参加者に画像を見せた際の脳活動（fMRI信号）から、潜在拡散モデルを含むフレームワークでその画像に類似した画像を生成する。 ▲Brain-Diffuserモデルによる再構成の例。左端の画像が元画像。2番目の列は、同じ画像を見ている4人の参加者す

3Dシーンの「要らない物」だけを消せる技術「3Dインペインティング」　カナダの研究者などが開発【研究紹介】 2023年3月13日 カナダのSamsung AI Centre Torontoとトロント大学、ヨーク大学、Vector Institute for AIに所属する研究者らが発表した論文「SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields」は、3Dシーン内の要らないオブジェクトだけを除去して、消した箇所を周囲と調和するように埋める3Dインペインティング技術を提案した研究報告である。 ▲4つの3Dシーンにおいて、一部のオブジェクトを消した様子 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_ar

山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。 米カーネギーメロン大学に所属する研究者らが発表した論文「3D-aware Conditional Image Synthesis」は、2次元コンテンツに応じた3次元オブジェクトを自動生成するpix2pix3D手法を提案した研究報告である。セグメンテーションや手書きによるエッジマップなどの2次元ラベルマップが与えられると、異なる視点から対応する画像を合成するように学習する。 ▲このモデルは、セグメンテーションやエッジマップなどの2次元ラベルマップを入力として、高品質の3次元ラベル、ジオメトリ、外観を予測することを学習し、異なる視点からのラベルとRGB画像の両方をレンダリングする。各左側の画像1枚が2次元の入力、右側が3次元モデ

米シカゴ大学に所属する研究者らが発表した論文「GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models」は、テキストから画像を生成する拡散モデルにおいて、絵に仕込んだノイズで学習後のモデルを騙し、作風を模倣した絵を出力させない技術を提案した研究報告である。学習される前に自分で描いた絵に敵対的な摂動を仕込むことで、学習されてもモデルの出力が誤った画像になるという。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 評価結果 StableDiffusionやMidJourneyなどのテキストから画像を生成する拡散モデルの登場は、アート業界を一変させ、根底から覆した。以前はプロのアーティストが何時間もかけて描いていたような、驚く

風景画から無限に3Dシーンを生成するAI　シンガポールの研究者ら「SceneDreamer」開発【研究紹介】 2023年2月15日 シンガポールの南洋理工大学に所属する研究者らが発表した論文「SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections」は、インターネットで公開されている風景の2D画像コレクションから無限の3Dシーンを生成する手法を提案した研究報告である。3Dの一貫性、明確な奥行き、自由なカメラ軌道を持ち、様々なスタイルの多様な風景を合成することができるという。 ▲2D画像から自由なカメラ軌道で、様々なスタイルの3D風景を合成することができる keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 評価実験 3Dコ

山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。 NVIDIAなどに所属する研究者らが発表した論文「PADL: Language-Directed Physics-Based Character Control」は、物理的にシミュレートされたキャラクターの動作を、自然言語コマンドを用いてユーザーが指示できる言語指示型アニメーションシステムを提案した研究報告である。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 実証実験 複雑でリアルな動作を生み出すことができる物理的にシミュレートされたキャラクターの開発は、コンピュータアニメーションにおける中心的な課題の1つである。この領域における

脳に埋め込んだ電極で「発話内容」を読み取りテキストと音声に変換する技術　1分62英単語の高速出力に成功【研究報告】 2023年1月27日 米スタンフォード大学、米Providence VA Medical Center、米ブラウン大学などに所属する研究者らが発表した論文「A high-performance speech neuroprosthesis」は、理解できない言葉を発しても、脳に電極を埋め込んで話そうとする際に口を動かそうとする脳の信号を捉え、テキストや音声に変換できるブレインマシンインタフェース（BMI）を提案した研究報告である。 ▲発話内容を脳に埋め込んだ電極で解読し、テキストと音声に変換する keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 実証実験 論文の第一著者であるFrancis

山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。 ドイツのMPI Infoに所属する研究者らが発表した論文「Scene-Aware 3D Multi-Human Motion Capture from a Single Camera」は、静止した単眼カメラ1台で撮影した映像から複数の人間の全身の動きと3Dシーンを同時に予測する手法を提案した研究報告である。シーン内の複数の人間の絶対的な3次元位置、体型、関節をグローバルかつ時間的にコヒーレントに推定する。競合手法よりも高い3次元再構成精度を達成し、取得した動きでバーチャルキャラクターを動かすことにも成功した。 ▲静止した単眼カメラ1台で撮影した映像から、そこに映る多人数の人物の3Dモデルを背景と共に復元する keyboard

「臓器の製造」「遺伝子編集ツール」「古代のDNA解析」など　2023年にブレイクする技術10選をMITが発表【研究紹介】 2023年1月16日 山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」（https://shiropen.com/）を運営。 マサチューセッツ工科大学（MIT）のメディア企業Technology Review社が刊行する科学技術誌「MIT Technology Review」は、2023年にブレイクするだろうと予想する技術分野10を発表した。ここでは、その10個の技術を説明したいと思う。 keyboard_arrow_down 1. 遺伝子編集ツール keyboard_arrow_down 2. 映像を生成するAI keyboard_arrow_down 3. 誰でも簡単に作れるチップ keyboard_arrow

イスラエルと米国の研究者らが開発　3Dモデルを簡単編集できるAIシステム「GeoCode」【研究紹介】 2023年1月12日 山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」（https://shiropen.com/）を運営。 イスラエルのテルアビブ大学、米シカゴ大学、米パデュー大学に所属する研究者らが発表した論文「GeoCode: Interpretable Shape Programs」は、ユーザーがパラメータを操作することで、3次元形状を直感的に編集できるシステムを提案した研究報告である。与えられた点群やスケッチをパラメータ空間にマッピングするニューラルネットワークを用いることで、パラメータ表現を変換して高品質なメッシュ出力を実現する。 ▲パラメータを操作することで、3次元形状を直感的に編集できる keyboard_arrow

「3D化した顔を巧妙に仮装」　呪文で3Dシーンをスタイル変換するモデル「NeRF-Art」【研究紹介】 2022年12月26日 香港城市大学、香港理工大学、Snap、Netflix、Microsoft Cloud AIに所属する研究者らが発表した論文「NeRF-Art: Text-Driven Neural Radiance Fields Stylization」は、事前に学習されたNeRFモデルのスタイルを、簡単なテキストプロンプトで操作するテキスト駆動型NeRFスタイライゼーションを提案した研究報告である。数枚の画像から生成した3Dシーンに対して、詳細にスタイル変換を行う。 ▲左端がソース画像、下部にスタイルのテキストプロンプト、残りの画像が本手法の出力結果 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow

NVIDIAに所属する研究者らが発表した論文「PhysDiff: Physics-Guided Human Motion Diffusion Model」は、物理法則を拡散プロセスに組み込むことで、物理的にありそうな動作を生成する、新しいモデルを提案した研究報告である。3DCGのキャラクターにおいて、足などが地面と接地する動きにおいて起きる、足の浮遊、足滑り、地面の貫通などの実世界ではありえない不自然な現象を改善した、よりリアルに近い動きの生成を行う。 ▲（左）本手法の出力結果。手足が地面と自然に相互作用している（右）従来のモデルの出力結果。手が地面にめり込み、足は浮いて不自然な表現になっている。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 keyboard_arrow_down 実証実験 深層学習に基づく人体動作生成は、アニメーショ

従来のシリコン太陽電池は壊れやすいため、ガラスで覆い、重くて厚いアルミフレームで固定する必要があり、設置場所や設置方法が限定されていた。薄くて軽い太陽電池が開発されれば、衣服や皮膚に貼る、小型ドローンに搭載する、軽量ヨットの帆に取り付ける、災害復旧活動で使用するテントやタープに貼り付けるなど、用途の幅が各段に広がる。 そのため薄くて軽い太陽電池が求められており、これまでにもいくつもの研究が報告されてきた。だが、その多くは生産コストが高いため広い面積への拡大が難しかったり、発電量が少なかったりなど、薄くできても課題が多かった。 本研究では、これらの課題に挑戦するため、印刷可能な導電性インクと布製品を組み合わせた丈夫で薄型でありながら、高い発電量の太陽電池を提案する。 製造プロセスでは、スロットダイコーターを使って太陽電池の構造をスクリーン印刷によりコーティングする。スロットダイコーターは、厚

スイスのDisney ResearchとETH Zurichに所属する研究者らが発表した論文「Production-Ready Face Re-Aging for Visual Effects」は、映像中の顔のリ・エイジング（若くしたり老けさしたりすること）を手軽に行えるシステムを提案した研究報告である。シワが少なくなって若返った顔の頭部や表情が激しく動いても、同一性を損なうことなく若さを維持したまま自然な動きを見る物に知覚させる。 ▲（左）オリジナル（右）老けさした顔 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究過程 keyboard_arrow_down 研究結果 映画作品や広告において、役者を老けさせたり若くしたりを施した人物の使用は、ここ数年で劇的に増加した。 ▲左端がオリジナルの顔、上段が老けさせた顔のシーケンス、下段が若くした顔