はてなブックマーク

１．AnimateDiffで静止画から動画を作る４つの方法まとめ ・AnimateDiffを使って動画を作る手法は直近で大きく進化しており従来手法とかなり動かし方も変わってきている ・直近話題になったAnimateDiffは参照画像を渡す事で動画内の物体の動きを従来より細かく制御できるようになっている ・具体的な動かし方は様々な人が様々な手法を試行錯誤している段階。現時点で判明している動かし方を可能な限りまとめた ２．AnimateDiffとは？ アイキャッチ画像は2023年9月8日に亡くなった寺沢武一さんの代表作コブラ。実は劇場版コブラは当時若手だった宮崎駿監督が数カットだけですが原画を担当しているとの事 AnimateDiffは「画像生成AIを使って作った静止画」に動きを与える事ができるツールです。 AIを使って動画を作成するツールは他にもありますが、AnimateDiffは、他のツー

１．Fooocus-MRE：自分の描いた絵をAIに格好良くしてもらうまとめ ・Fooocusを使うと最新のイラスト生成AI(Stable Diffusion XL)で非常に綺麗なイラストを簡単に生成できる ・シンプルさを追求したためFooocusではIMG2IMGやControlNetなど削られてしまった機能も存在する ・Fooocusで削られた機能を補完するFooocus-MREのControlNetで自作イラストを綺麗にする方法を紹介 ２．Fooocus-MREとは？ 画像生成AIは動かすまでに前提知識が色々と必要になるため、全くの初心者の方にとっては動かすまでのハードルがやや高かったです。しかし、先日発表されたFooocusというツールを使うと、ブラウザを使って無料で最新のイラスト生成AI(Stable Diffusion XL)で非常に綺麗なイラストを簡単に生成できます。これにより

１．Reference-only ControlNet：ついに前処理さえ不要になったコントロールネットまとめ ・ControlNetがアップデートにより「前処理せずとも参照画像と似た画像を作れるようになった！」というニュースが昨日あった ・当然ではあるが参照用画像に似た画像を綺麗に生成するためには少なくとも「参照用画像と似た画像を作る事の出来るモデル」が必要 ・LoRAや微調整が不要な時代になったわけではなく自分で生成したものではないイラストを参照するのは工夫と根気が必要になりそう ２．Reference-only ControlNetとは？ コントロールネットは入力として与えた参照画像からポーズや輪郭を抽出し(前処理)、抽出したポーズや輪郭を自分が生成したいイラストに流用できるStable Diffusion用の拡張機能です。 前処理部分は公式なものだけでも30以上あって、それらの前処理

１．GoogleはAI開発競争における防壁を持っていません！OpenAIもです！まとめ ・Google社内から流出したとされる文章がGoogleはOpen Sourceの取り組みからもっと学ぶべきという趣旨を主張していた ・Googleが巨費をかけた大規模モデルで苦戦していることを100ドルと130億パラメータと数週間で実現しているとの事 ・イラスト生成AIで起こったカスタマイズしたモデルの流行は大規模言語モデル界隈でも起こっていく可能性はあるかもしれない ２．AI開発競争における競争優位性とは？ 以下、www.semianalysis.comより「Google “We Have No Moat, And Neither Does OpenAI”」の意訳です。私はhardmaruさんのTwitterで知りましたが、Google社内文章の流出とされています。一部報道によれば執筆者の方も既に特

１．BardとGPT:検索エンジン時代からAI検索時代への変化を情報発信視点で考えるまとめ ・Microsoftの検索エンジンBingにAIが組み込まれるとの報道とほぼ同時期にGoogleも対話型人工知能LaMDAをベースにしたBardを組み込む発表があった ・従来の検索エンジンは事実に関する答えを得る事ができたがAI検索機能は複雑な情報や複数の視点をわかりやすい形に抽出する機能を持つという ・情報収集の視点からはバラ色の未来だが情報発信の在り方についても大きな影響を及ぼす可能性があり、その影響についてはまだ十分に見えてこない ２．GoogleのBardの発表 以下、blog.googleより「An important next step on our AI journey」の意訳です。元記事は2023年2月6日、Sundar Pichaiさんによる投稿です。 2年後にはGoogle検索を

１．ラッダイト運動について思う事まとめ ・「これから10年以内になくなる仕事」というタイトルで定期的に話題になる論文から10年が経過した ・論文内で代替される可能性は低いとされていたは創造的な業務や社会的知性は既にもうすぐ代替されそう ・AIを作る側には回るのは難しくても使う側にまわる事は心掛け次第で出来るので適応していくしかない ２．ラッダイト運動とは？ アイキャッチ画像はWaifu Diffusion 1.4 AnimeとStable Diffusion2.1に雑なプロンプトで描いてもらったラッダイト運動(Luddite movement)。どちらのAIも正確にラッダイト運動を描けているとは言い難いですが、思う通りのイラストがボタンを押すだけで描けるわけではないと主張したかったのでこのまま採用しました。 現在、昔の投稿記事のカテゴリを少しずつ見直しているのですが、当初はもう少しファイナ

１．AUTOMATIC1111を自分のWindows 10パソコンにインストール/セットアップする手順まとめ ・イラスト生成AIであるstable diffusionを動かすためにはソフトウェアとハードウェアを用意する事が必要になる ・NVIDIAのGPU付きのハードウェアを所有している方は本ページの手順でAUTOMATIC1111を導入すれば動作させる事が可能 ・zipファイルを解凍して利用する方式なのでインストール済のpythonがあっても競合しないで動作させる事ができる ２．stable-diffusion-webui/AUTOMATIC1111をZipからインストール アイキャッチ画像はstable diffusionのカスタムモデルによる生成で、ロボもソフトウェアも構造をシンプルにした方が扱いやすく人気が出るのかもしれないという思いで生成したイラスト 2023年5月追記)現在、A

アイキャッチ画像は左がstable diffusion1.5、右がstable diffusion2.0の生成。stable diffusion2.0はサイズが大きいので少し縮小しています。 昨日、突然、Stability AI社が画像生成人工知能として一躍有名になったStable DiffusionのVersion 2.0をリリースしました。 Stable Diffusion 1.5はStability AI社の有料Webサービスの方で先行公開されてしばらく経過してからrunwayml社によって突然公開された経緯があるのですが、今回のStable Diffusion 2.0は「有料Webサービスの方には近日中に反映させるよ～」との事でまだ有料Webサービスの方でも使えていない状況です。 上記を読めばいかに突貫リリースであったかがイメージが沸くと思いますが、Stable Diffusion

１．Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能まとめ ・Waifu Diffusionではシンプルな指定で画像の詳細を指定する事が可能 ・Waifu DiffusionにDreamBoothを加える事でキャラクターの属性を操作可能 ・自分の好きなキャラクターにセーラー服やチャイナドレスを着て貰う事も可能 ２．モデルによってプロンプトの効きがかなり違う アイキャッチ画像はStable Diffusionの微調整モデルであるWaifu Diffusion 1.3にDreamBooth拡張を加えたモデルによる生成で西遊記に出張したチャイナ服の風の谷のナウシカと学園ドラマに出張したセーラー服の風の谷のナウシカ 2023年1月1日追記)最新モデルのWaifu Diffusion 1.4 Animeが公開されています。 一番最初(2022年8月末頃)にSta

１．Stable Diffusion本家サイトに掲載されているプロンプトガイドまとめ ・人工知能に良い絵を描いて貰うためには入力プロンプトを工夫する必要がある ・初心者は生のプロンプトを使いがちだがスタイルやアーティスト指定が有効 ・プロンプトエンジニアリングで画像の見栄えをよりよく制御する事が可能 ２．イラスト生成人工知能により良いイラストを描いて貰う方法 2023年1月追記)Stable Diffusion 2.0以降の新機能に合わせて原文が書き直されていたため、修正しました。 2023年9月追記)プロンプトをあまり意識せずともシンプルに使える「Fooocus」というツールが発表されました。本記事を読んだ後に「Fooocus：最新のイラスト生成AIを使って無料でSNS用のヘッダーを作成する方法」を読むと理解が深まり、且つより高品質な画像を簡単に生成できると思います。 以下、beta.d

１．stable diffusionに同じ絵を描いて貰うためにはどうすれば良いか？まとめ ・人工知能に画像生成して貰う際にはpromptに加えてseedが与えられている ・seedは生成する画像にランダム性を持たせるために使われる大きな数字 ・同じモデルを使ってpromptとseedを固定すれば他のPCで画像を再現可能 ２．Repeatable Seedsとは？ アイキャッチ画像はstable diffusion 2023年9月追記)使用しているツール、及びツールのVersionによってプロンプトの解釈方法が微妙に異なる場合があり、そういったケースでは同じシードでも生成されるイラストが異なってくる場合があります。 画像生成人工知能に絵を描いて貰う際には「どんな絵を描いて欲しいか？」を文章で指示する必要があり、この指示をprompt(プロンプト)と言います。 プロンプトの言い回しを工夫すると

１．DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事まとめ ・拡散モデルは画像に加えたノイズを除去して元画像を復元する事を学習をする ・学習済モデルは純粋なノイズから画像を復元できるようになりこれが画像生成 ・学習時のノイズはガウスノイズの必要があると思われていたがそうではなかった ２．拡散モデルの動作原理とは？ 以下、twitterのTom Goldstein(@tomgoldsteincs)さんの拡散モデルの動作原理に関する投稿の意訳です。昨日の調査をしている際に見つけた一連のtweetでわかりやすくとても興味深い解説でした。 アイキャッチ画像はstable diffusion #DALLEや#StableDiffusionのような拡散モデルは画像生成の最先端ですが、それらがどのようにして動作しているかの理解はまだ始まったばかりです。このスレッ

１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・思考連鎖プロンプトで1千億パラメータ程度のモデルが複雑な推論問題を解法可能になる ２．思考の連鎖プロンプトとは？ 以下、ai.googleblog.comより「Language Models Perform Reasoning via Chain of Thought」の意訳です。元記事は2022年5月11日、Jason WeiさんとDenny Zhouさんによる投稿です。 アイキャッチ画像のクレジットはPhoto by Andisheh A on Unsplash 近年、言語モデルの規模を拡大することが、さまざまな自然言語処理(NLP:Natural

１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggleのコンテストなどで良く使われるモデルを一覧にしてまとめて紹介 ２．最先端の機械学習モデル一覧 以下、towardsai.netより「State of the Art Models in Every Machine Learning Field 2021」の意訳です。元記事の投稿は2021年4月12日、Mostafa Ibrahimさんによる投稿です。 自分がまだあまり詳しくない分野で何かの作業を始める時、現時点の最先端(Sota:State of the Art)、もしくは良く使われている人気のある機械学習モデルは何なのだろう？と知りたくなる時ってあると思う

１．拡散モデルを使用してGANより忠実度の高い画像を生成(1/2)まとめ ・画像合成は、GAN、VAE、自己回帰モデル等を使って行われているがどれも一長一短 ・2015年に発表された拡散モデルは安定性と生成サンプルの品質で最近注目を集めている ・拡散モデルを規模拡大しデータ拡張を行ってGANを超える強力な超解像画像の生成に成功 ２．拡散モデルとは？ 以下、ai.googleblog.comより「High Fidelity Image Generation Using Diffusion Models」の意訳です。元記事の投稿は2021年6月16日、Jonathan HoさんとChitwan Sahariaさんによる投稿です。 diffusion modelは「拡散過程モデル」と日本語訳しているケースも見かけたのですが、人工知能分野ではなく数学分野に見えたので、区別するために拡散モデルとして

１．Google Colab Proが日本から利用可能にまとめ ・Colab Pro版がオススメかどうかというと「その人の使い方次第」 ・Colab Free版で支障を感じていない人は無理にColab Pro版にする必要はない ・Colab Free版では実現できない事が増えてきたらPro版を試す価値はある ２．Colabの無料版と有料版の違い Google Colaboratoryはブラウザから機械学習／人工知能を動かせる無料のウェブアプリです。機械学習や人工知能を勉強してみたいと考えている初心者／入門者の方にオススメです。 無料で利用できるにも関わらずGPUやTPUが利用可能で、何のセットアップもせずともに即ブラウザから動かせると言う事がものすごく有り難い事です。(GPUを自分でセットアップする事に興味がある方はWindowsの事例とLinuxの事例を読んでみてください) 無料版でも十

１．Google Colabの使い勝手を向上させる10の秘訣まとめ ・気軽にブラウザでPythonやライブラリを試せるGoogle Colabを更に便利に使うためのヒント ・ファイルのアップロード、ダウンロード、Googleドライブのマウントからシェル起動 ・github連携、DataFrame操作、TensorBoard呼び出し、子猫呼び出し、コーギー呼び出し ２．Google Colabを便利に使う為のTips 以下、towardsdatascience.comより「10 tricks for a better Google Colab experience」の意訳です。元記事の投稿は2020年6月5日、Cyprien NIELLYさんによる投稿です。 アイキャッチ画像はColabではなくてインドのColabaにあるタージマハル・ホテルで、クレジットはPhoto by Raj Rana

１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限られた機関とプライベートベータを行っている段階だが待ちリスト登録は可能 ２．GPT-3とは？ 以下、openai.comより「OpenAI API」の意訳です。元記事の投稿は2020年6月11日、Greg Brockmanさん、Mira Muratiさん、Peter Welinderさん、そしてOpenAIによる投稿です。 人間が読んでも不自然ではない文章を幾らでも作り出す事が出来るので「フェイクニュースが作り放題になってしまう！」と危惧されて一般公開が延期されたGPT-2が登場したのは2019年2月の事ですが、先日、その後継であるGPT-3、おそらくは

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発 ・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能 ２．T5とは？ 以下、ai.googleblog.comより「Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer」の意訳です。元記事の投稿は2020年2月24日、Adam RobertsさんとColin Raffelさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Aleksey Boev on Unsplash

１．Googleを巨大にした友情(1/9)まとめ ・Google AI部門トップのジェフ・ディーンとサンジェイ・ゲマワットの友情の物語 ・この二人がいなければGoogleは、そしてインターネットも現在の姿ではなかった ・物語はサンジェイがGoogleに入社した数か月後、Googleに最大級の危機が訪れた時から ２．Jeff DeanとSanjay Ghemawat 以下、www.newyorker.comより「The Friendship That Made Google Huge」の意訳です。元記事の投稿は2018年12月3日、James Somersさんによる投稿です。Jeff DeanのTwitterのトップにかなり長い期間固定されているのですが、あまりに長文なのでずっと先送りしてました。しかし、物語としてとても良い話で且つ面白いです。 2000年3月のある日、Google社内で最高