Stable Diffusionを使って「いらすとや風画像生成モデル」を作った話 - ぬいぐるみライフ？
今話題の画像生成モデル「Stable Diffusion」をいらすとやの画像でfinetuneしてみたところ、任意のテキストに対していらすとやっぽい画像を作れるモデルが出来上がりました。 Stable Diffusionとは Stable Diffusionは、指定されたテキスト（文字列）に対応する画像を生成する機械学習モデルのひとつです。ソースコードと学習済みモデルは無償で公開されていて、誰でも利用できるようになっています。 (Stable DiffusionのGitHubページより引用) 今回は、この画像生成モデルをいらすとやの画像でfinetune（微調整）することで、入力テキストに対応する画像をいらすとやのようなスタイルで出力させることを試みました。 開発環境 開発環境はGoogle Colab Pro+で、主にプレミアムGPU（NVIDIA A100）を使いました。Stable
AIで特定キャラを描く(DreamBoothで追加学習)｜lisa
概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがいます。 ドラゴンクエスト10のアンルシア 公式サイトより引用 https://hiroba.dqx.jp/sc/election/queen2021/vote/confirm/1/nologinこのキャラの画像を18枚ほどAIに読み込ませ、追加学習し、AIに描かせた絵が以下の絵になります。 これ見ると、単なる髪型や顔が似ているレベルではなく、服の模様レベルまで再現できている事がわかります。 今までStableDiffusionの欠点として、同じキャラを安定して描くのが苦手というのがありましたが、DreamBoothを使うことで克服することが出来ます。 これにより、A
ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。 画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を
ポートレート写真をアニメ風に変換する「AnimeGANv2」を手軽に試せるデモサイト登場
写真をアニメっぽい画像に変換する「AnimeGAN」に改良を加えたオープンソースプロジェクト「AnimeGANv2」を手軽に試せるデモサイトが公開されています。 AnimeGANv2 - a Hugging Face Space by akhaliq https://huggingface.co/spaces/akhaliq/AnimeGANv2 これは、「AnimeGANv2」のPython向け機械学習フレームワークである「PyTorch」版をもとに、機会学習体験UIを作成するGradioで作られたデモで、基本的には人の顔が写ったポートレート写真の変換を行います。 サイト上部にある「Drop Image Here - or - Click to Upload」と書かれたエリアに変換したい写真をドラッグ＆ドロップするか、エリアをクリックしてエクスプローラーから変換したい写真をアップロードし
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
2021年最強になるか！？最新の画像認識モデルEfficientNetV2を解説 - Qiita
その他層の数も探索空間に入れています。ここで拡張率とは、MBConvの最初のConvでチャネル数を何倍にするかの係数のことで、こちらでより詳しく解説しています。 探索は精度$A$、ステップごとの学習時間$S$、パラメータサイズ$P$を用いて、$A\cdot S^w\cdot P^v$を最大化するように行われます。ここで$w=-0.07, v=-0.05$であり、これらの値は実験的に決定されています。 1.3.2 EfficientNetV2のアーキテクチャ 下表がEfficientNetV2のSサイズのモデルになります。 画像: "EfficientNetV2: Smaller Models and Faster Training", Tan, M., Le, Q., (2021) 比較のためにEfficientNet-B0(i.e. V1)のアーキテクチャも下に載せます。 画像: "Ef
StyleGAN2で属性を指定して顔画像を生成する - すぎゃーんメモ
memo.sugyan.com の記事の続き(？)。 ある程度の学習データを収集して学習させたモデルが出来たので、それを使って実際に色々やってみる。 StyleGAN2-ADA 学習 mapping出力と生成画像 生成画像の属性推定結果から潜在空間の偏りを抽出 表情推定 顔姿勢推定 髪領域推定 (顔解析) 年齢 (上手くいかず) 複合 Repository StyleGAN2-ADA 前回の記事でも書いたけど、厳選した16,000枚の画像を使って StyleGAN2-ADA を使って生成モデルを学習させてみた。 github.com これは StyleGAN2 から進化したもので、より少ない枚数からでも安定して学習が成功するようになっていて、さらにparameter数など調整されて学習や推論もより早くなっている、とのこと。 それまでのStyleGANシリーズはTensorFlowで実装され
OneNoteで仕事を効率化する8つの便利機能 | ライフハッカー・ジャパン
1. テキストをワンクリックで翻訳Screenshot: 酒井麻里子 via OneNoteノート内のテキストは、外部サイトを使うことなく簡単に翻訳が可能。 翻訳したい箇所を選択した後、「校閲」タブの「翻訳」ボタンから「選択した文字列の翻訳」をクリック。右側にウィンドウが開き、翻訳結果が表示されます。 言語はドロップダウンリストから変更でき、「挿入」をクリックすれば現在のマウスカーソルの位置に翻訳結果を挿入できます。 なお、無料の「OneNote for Windows 10」や「OneNote for Mac」の場合は、「表示」タブ内に翻訳ボタンがあります。こちらのバージョンでは選択部分の翻訳に加えて、ページ全体を翻訳することも可能です。 2. 画像を固定して上から文字を書くScreenshot: 酒井麻里子 via OneNoteOneNoteに画像を挿入し、その上に手書き入力モードで
似ているヘアカット写真を見つける画像認識AI 「Yahoo! BEAUTY」の新機能で活用
ヤフーは2月15日、ヘアスタイル検索サービス「Yahoo! BEAUTY」に独自の画像認識AIを使った新機能を導入したと発表した。ユーザーの好みに合うヘアスタイル画像の表示精度がアップしたという。 入力した名称のヘアスタイル画像を表示するもの。従来は画像に付けられたハッシュタグを基準に類似画像を表示する仕組みだった。 新機能ではAIがヘアスタイルの特徴と髪の毛の色を識別し、類似画像を表示する方式に変更。識別方法には画像認識で精度が高い学習手法とされる「Convolutional Neural Network」（CNN）を採用した。 ヤフーによると、学習対象は「ショート」「セミロング」といった髪の長さ、 「マッシュ」「ひし形」などの髪形のシルエット、「ワンカールパーマ」「外ハネ」のような毛先の動き、「クール」「ガーリー」といったヘアスタイルへの印象に至るものまで多岐にわたるという。 類似画像
メルアイコン変換器を作った話 - Qiita
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
Are you wearing a mask？プログラムの開発（Yolov5の利用） - Qiita
今回の内容 マスクをしているかしてないかを出力するプログラムがありますが,今回をマスクをしているかしていないかを 出力した後にどう可視化するかを出力するかを考えるプログラムを書いていきたいと思います. 追記: 一応,いつも開発のゴールを書いているので書いておきたいと思います. 最終的には非接触AI温度計を目指して開発をしています. まぁ世の中には類似製品は沢山ありますが,某製品は16万円とか安くても8万円とかですね. この価格帯だと導入できない企業もあるかもしれない. だから2万円くらいで自分で作れる非接触AI温度計を開発したいと思います. その付随機能のマスク検知を今回開発していきたいと思います. 構成 ⓵ Yolov5でマスク検知のモデルを作成 ⓶ マスクをしているときはOK→音声でマスクをしていますねと音声で流す. ⓷ していないときはNG→マスクをしてください.→管理者のlineに
自撮り画像を他人が撮ったように変換する技術「Unselfie」 Adobeなど開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ベルギーのルーベン・カトリック大学、米Adobe Research、米カリフォルニア大学バークレー校による研究チームが開発した「Unselfie」（アンセルフィー）は、手を伸ばして自撮りした写真を、別の人が撮影したポートレート写真のように変換する、教師データを半自動生成する「自己教師あり学習」（Self-Supervised Learning）によるフレームワークだ。 自撮りすると、カメラを持った腕を伸ばすため姿勢が崩れ、自撮りした写真だと分かってしまう。この不自然さをなくして、自分以外の誰かが撮影したかのように変換するのが目的だ。 具体的には、カメラを持った腕を下に移動させ、肩と胴体のポ
第３回：Adversarial Training -回避攻撃の対策-
本コラムは、AIの安全を確保する技術を理解していただくために書かれています。本コラムの内容を検証する場合は、必ずご自身の管理下にあるシステムにて、ご自身の責任の下で実行してください。許可を得ずに第三者のシステムで実行した場合、法律により罰せられる可能性があります。 本コラムの内容を深く理解するには、敵対的サンプルの基本知識を有していることが好ましいです。 敵対的サンプルをご存じでない方は、事前にAIセキュリティ超入門：第2回 AIを騙す攻撃 – 敵対的サンプル –をご覧ください。 ハンズオン 本コラムは、実践を通じてARTを習得することを重視するため、ハンズオン形式で進めていきます。 ハンズオンは、皆様のお手元の環境、または、筆者らが用意したGoogle Colaboratory*2にて実行いただけます。 Google Colaboratoryを利用してハンズオンを行いたい方は、以下のUR
ネット麻雀(雀魂)をOpenCVと機械学習で自動化した話 - Qiita
概要 pythonからOpenCVのテンプレートマッチ及びGUI操作モジュールを使うことで、 webブラウザ上の麻雀牌をBOTに認識・クリック操作させることができ、プレイの自動化ができました。 また、どの麻雀牌をクリックするかのロジック部分には機械学習を用いました。 テンプレートマッチの探索用画像を差し替えれば雀魂に限らず他の麻雀ゲーム全般で利用可能であり、機械学習の部分を変えれば、特定条件下で合理的選択を繰り返し求められるようなゲーム全般で応用が可能です。 ※内容理解の一助とするために記事内随所に雀魂のゲーム内画像を利用していますが、著作権保護等の観点から強いボカシを入れています。 対象読者 (麻雀が好きで)機械学習を触ってみたい人 WindowsやGUI操作の自動化に興味があるけどOpenCVって何だろうって人 雀魂は好きだけど試練イベント走るのがマジ試練すぎて心が折れた人 過去に大学
画像認識の定番データセットImageNetはもう終わりか - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2012年にAlexNet[Krizhevsky, A.(2012)]が登場してから、画像認識分野での発展は著しい。その発展を支えてきたものこそ大規模データセットImageNet[Deng, J.(2009)]である。ImageNetでSoTAを達成すると、そのモデルには最強モデルの称号が与えられると言っても過言ではない。2020年6月にGoogle Brainによって出されたこの論文は、そんな当たり前に使われてきたImageNetデータセットに対して疑問符を叩きつけるものとなっている。現存のImageNetでの性能評価が必ずしも正しいのだろうか。この論文を通してその答えを探しにいく。 本論文で使われて
半分だけの画像でも全体像を自動生成するAIをOpenAIが発表 | Ledge.ai
Thumbnail photo on openai.com 画像AIの発展が止まらない。 画像認識からブレイクスルーが起こった画像AIは、画像自動生成の分野でも発展を続けている。以前紹介した、モザイクから元画像に類似する高画質画像を自動生成する技術も興味深かったが、今回はまた別の技術を紹介したい。 SpaceXなどで有名なイーロン・マスク氏が共同会長を務める、米国の非営利研究団体OpenAIは、半分の画像を入力するだけで残りの半分を自動生成する技術を発表した。類似研究と違う点は、文章を分析する自然言語処理の技術を転用しているところだ。 文章生成に長けたGTP-2モデルを画像生成に応用 今回OpenAIが発表した技術には、GPT-2モデルが使われている。GPT-2モデルは、OpenAIが2019年に発表した自然言語処理のモデルだ。このモデルはインターネット上にあるウェブページを800万ページ
【Deep Learning入門】0から勉強して3ヶ月でポリープ検出AIをつくったった - Qiita
３ヶ月で出来たもの まずは蠢く内臓の成果物から、これが今回作ったポリープ検出AIです！ 上の映像が元の内視鏡の動画で、 下が今回開発した検出AIの動作動画です。 青い枠で「ポリープだよ！」と主張してくれてますね！ ３ヶ月の学習の流れ 基礎的な機械学習手法のスクラッチ まずは数学的な理解から始めました。 手法ごとの数式を読んで、それを実装に落としていきます。 - 線形回帰 - 重回帰 - 主成分分析 - Kmeans - 決定木 - SVM 悶え苦しんだのですが、 この時期に数式に対するアレルギーがほぐれていきました！ 最初は2乗誤差の微分変形を理解するのに苦労した思い出があります。 このときに一番参考になった書籍は 「やさしく学ぶ 機械学習を理解するための数学のきほん」 です これで機械学習の更新の概念が腹落ちしました。オススメ！ kaggleへの挑戦 定番のタイタニックや 良質なコンペの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch