yuisekiのブックマーク - はてなブックマーク

[ClipCap] 機械学習で画像からキャプション(説明)を生成する [Python]
それでは、ClipCapをインストールしていきます。他の機械学習環境に影響を与えないためにMinicondaの仮想環境上に構築していきます。Minicondaのインストール手順は公式ドキュメントをご参照ください。 conda環境構築手順を下記に記載します。 # codeをgit clone $ git clone https://github.com/rmokady/CLIP_prefix_caption.git # environment.yamlからconda環境を作成 $ conda env create -f CLIP_prefix_caption/environment.yml # cloneしたコードを作成したconda環境内に配置する $ mv CLIP_prefix_caption/ clip_prefix_caption/ # 作成した環境をアクティベート $ conda
yuiseki 2023/03/26
リンク
[OFA] 機械学習でImage Captioning, VQA [Python]
はじめに、論文提供元のGitHubからソースコードを取得します。 %cd /content !git clone https://github.com/OFA-Sys/OFA.git 次に、学習済みモデルをダウンロードします。 %cd /content !mkdir -p /content/OFA/checkpoints/ !wget https://ofa-silicon.oss-us-west-1.aliyuncs.com/checkpoints/ofa_large_clean.pt !mv ofa_large_clean.pt OFA/checkpoints/ofa_large.pt 以降の動作で必要なライブラリをインストールします。この時、事前にGoogle Colaboratoryにセットアップされているライブラリのバージョンによっては、「RESTART RUNTIME」が表
yuiseki 2023/03/26
リンク
[Stable Diffusion] AIで指定範囲をテキストで指示して画像修復 [inpainting]
[Stable Diffusion] AIで指定範囲をテキストで指示して画像修復 [inpainting] 2022年8月30日火曜日 Artificial Intelligence 本記事では、機械学習手法Stable Diffusionを用いて画像の特定の範囲をテキストに応じた画像に変更する画像修復を実行する方法をご紹介します。 Stable Diffusion 概要 Stable Diffusionは、拡散モデルによる画像合成モデルです。自然言語で入力されたテキスト(prompt)から画像を生成するText to Imageタスクを実現します。 Latent Diffusionをベースとした本モデルは、非常に大規模なデータセットであるLAION-5Bを用いてトレーニングされています。 GoogleのImagenやOpenAIのGLIDE, DALLE-2など最新の画像生成モデルは社
yuiseki 2022/12/03
リンク
1