[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる
はじめに こんにちは。なんかです。 早速本題に入ります。 [2023/01/20追記] この記事で説明しているDepth-to-Imageモデルのドメイン適応と、適応したモデルのAUTOMATIC1111さんのWebUIでの使用が行えるColab Notebookを公開しました。 こんな感じで使えます Depth-to-Imageモデルの説明 StabilityAIが公開したStable Diffusion V2系のモデルの中に、depthモデルというものがあります。 このモデルができることは、一般的なStable Diffusionのimg2imgができることと基本的には同じで、画像とテキストを入力とし、入力された画像スタイルをテキストの指示に従って変換する、というものです。 まずは、一般的なモデル（ここではWaifu Diffusion V1.4 Epoch1を使用しています）のimg
![[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる](https://cdn-ak-scissors.b.st-hatena.com/image/square/557803d2f73ed08279c214c042240feb7a85e731/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--L-Kt5bdX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BStable%252520Diffusion%25255D%252520Depth-to-Image%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252582%252592%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AA%2525E3%252581%252597%2525E3%252581%2525A7%2525E7%252589%2525B9%2525E5%2525AE%25259A%2525E3%252581%2525AE%2525E3%252583%252589%2525E3%252583%2525A1%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E5%2525BF%25259C%2525E3%252581%252595%2525E3%252581%25259B%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525AA%2525E3%252582%252593%2525E3%252581%25258B%252Cx_203%252Cy_98%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2IxYzFjNmI4ZGUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_72%2Fog-base.png)
【論文読み】A Survey on Deep Learning for Localization and Mapping - 自律ロボット × Deep Learning の研究動向
【論文読み】A Survey on Deep Learning for Localization and Mapping - 自律ロボット × Deep Learning の研究動向 Localization, Mappingとは? 人間は、知覚機能を用いて、自分が何歩動いたかなどの自己の動作や、周辺の環境を認識します。そして、その認識を頼りにして、複雑な3D空間の中で自分の位置を特定します。 この自己動作の認識や、特定した自己位置を用いて、目的地へ移動したり、体の運動制御が可能になります。 自動運転車やドローンなどの自律ロボットも、同様に、センサー情報を用いて、環境を認識し、自己位置を推定することで、次の動作などの決定を行うことができます。 自律ロボットが、高度な自律性を実現するためには、正確でロバストな自己位置の獲得と、様々な状況に適応するための世界モデルの段階的な構築と維持が必要にな
機械学習開発のための学習済モデル - KADOKAWA Connected Engineering Blog
はじめに 株式会社KADOKAWA ConnectedのKCS部Cloud Native課の夏目です。最近は産業におけるディープラーニング（ディープニューラルネットワーク、以下「DNN」）の適用が幅広く進んでいます。私（夏目）はSmartCity研究所にて画像認識を利用するプロジェクトで業務を行なっています。今回は初心者のかた向けに、主に画像・映像の認識を行なうための機械学習およびDNNの学習済モデル、そのモデルを利用した転移学習について紹介したいと思います。 教師あり学習の課題 機械学習の1つの手法として、教師あり学習がありますが、教師あり学習ではラベル付け（アノテーション）された学習用のデータが必要になります。一般的に学習用のデータが少ないと精度に影響が出ます（精度が低くなる可能性がある）ので、ある程度学習用データを集める必要があります。しかし、学習用データを数多く揃えるのは難しい場合
久しぶりにGITHUBで公開されているDeep Learningのネットワークを動かしてみました。今回はtensorflowのソース内にあるstruct2depthです。慣れていればどうってことないのでしょうか、初見でつまずいてしまったので、手順を記録しておきます。 struct2depthとは？ Google Brainが開発した、単眼カメラから深度とエゴモーション(カメラ自身の動き)を推定する手法です。取得するのが難しい、距離の正解情報を必要とせずに距離推定器を学習させることができるのが特徴です。 プロジェクトサイト https://sites.google.com/view/struct2depth 動作環境 ● OS : Windows 10 Home (64bit) ● Python 3.5 ● Anaconda 4.2.0 ● Tensorflow 1.12.0 手順 ① GI
Having had the privilege of compiling a wide range of articles exploring state-of-art machine and deep learning research in 2019 (you can find many of them here), I wanted to take a moment to highlight the ones that I found most interesting. I’ll also share links to their code implementations so that you can try your hands at them. Contrastive Representation Distillation This paper in the model di
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
struct2depth(距離推定)を動かしてみた - ハードウェア技術者のスキルアップ日誌
Top Machine and Deep Learning Research Papers - Fritz ai