Stable Diffusionの内容を理解するための情報・書籍 - karaage. [からあげ]
Stable Diffusion完全に理解した 画像生成AIで話題のStable Diffusion、完全に理解した状態になりたいですね。私もです。夜な夜な、Stable Diffusion睡眠不足になりながらの自分の理解は以下です。 Stable DiffusionというAIモデルは、上記のように、2つのモデルで構成されています。凄いのがDiffusion Modelとよばれるもので、これはランダムノイズ的な画像から、クオリティの高い絵を生成することができます。 ただ、このままだとどんな絵が生成されるか分からないので、絵をコントロールするために、プロンプト（自然言語）をCLIPと呼ばれるTransformerのモデルに入力して、埋め込みベクトルに変換します。このベクトル情報をDiffusion Modelに入れてやることで、自分の好きな画像を生成することができます。 無理やりカメラとの対
![Stable Diffusionの内容を理解するための情報・書籍 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/621adc324d3f307ba672d6950449c99f297e7975/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20220923%2F20220923012149.png)
Kapaoで、人物検出と姿勢推定を行う
1.はじめに 通常、姿勢推定などのタスクではヒートマップを使った回帰の手法を使いますが、今回ご紹介するのはヒートマップを使わずに姿勢推定を行うKapaoという技術です。 ＊この論文は、2021.11に提出されました。 2.Kapaoとは？ 通常、姿勢推定などのタスクではヒートマップを使った回帰のアプローチを取りますが、生成と後処理に大量の計算処理が必要です。 Kapao（Keypoints and Poses as Objects）は、もっと処理効率を上げるために、画像を細かなグリッドに分割して、人間のポーズオブジェクトとキーポイントオブジェクトを同時に検出・融合し姿勢推定を行います。 下記は、Kapaoのネットワークの概要です。入力画像を深い畳み込みネットワークでマッピングし、ポーズオブジェクトとキーポイントオブジェクトをそれぞれ検出した後、この２つの情報を融合し結果を得ています。 では
深層学習モデル軽量化技術まとめ - Qiita
初めまして、NSSOLで研究員としてデータ分析技術を中心とした研究開発に携わっている、KNです。 NSSOL Advent Calender 2021 18日目は、私が最近気になっている深層学習のモデル軽量化技術についてご紹介したいと思います。 深層学習のモデル軽量化(以下モデル軽量化)について、基礎的な部分をさっくりと知りたい方向けに書いたものになります。 これまでに私が業務内で調査した内容となりますが、至らぬ点等もあると思います。ご指摘等ある際はぜひコメント等いただければと思います。 注1:今回の記事では、「学習済みモデルを軽量化する」ことに焦点を当てているため、学習中に適用する手法や再学習を必要とする手法には言及しません。 注2:当記事を作成するにあたって、その内容、機能等について細心の注意を払っておりますが、記事の内容が正確であるかどうか、安全なものであるか等について保証をするもの
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
【コード検証中】【黒魔術】異常検知性能を劇的に向上させる方法 - Qiita
学習データは上記4種類のデータ全てを渡しました。つまり、968個のデータです。 学習済モデルを使用、つまり転移学習 異常スコアはLOFで算出 10回試行してAUCを取得 実験中、以下の項目は変更しますが、特段の指定がない場合は 以下の設定とします。 epochは50、最適化手法はSGD 今回使うmetric learningはL2 SoftmaxLoss バッチサイズは128 ベースモデルはMobileNet V2($\alpha=0.5$) 画像のサイズは224 x 224 実験1 どの出力層で取り出すと一番性能が出るのか？ ここでは、出力層を変えながらスコアの比較を行います。 MobileNetV2の層を見たところ、 expand_BN depthwise_BN project_BN の三種類があり、これらの出力で異常検知したところ、「project_BN」のスコアが 一番良かったです
機械学習モデルの判断根拠の説明
第20回ステアラボ人工知能セミナー https://stair.connpass.com/event/109983/ 【講演動画】 https://youtu.be/Fgza_C6KphU 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演の前半ではまず近年の代表的な研究について紹介する。後半では、発表者の最近の研究として「ランダムフォレストの簡略化」と「モデル列挙」について紹介する。
特徴量選択について - Qiita
scikit-learnのモジュール内には特徴量選択のクラスがあるのですが，どのような原理で動作して、どういうときに何のクラスを使えばよいかわからなかったので少しまとめてみました。 そもそも特徴量選択とは何か 特徴量選択 (feature selection) とは、データにある特徴量の集合から、部分集合を選択するプロセスのことを指します。1 元の特徴量や生データから新しく特徴量を作り出す行為は特徴抽出 (feature extraction) と呼ばれ、別モノのようです。 特徴量選択は主に、以下の3つのカテゴリに分類できます。 wrapper method 特徴量の部分集合を取り出し、それらを使ってモデルを訓練し、そのモデルで予測をした誤差を評価していき最適な部分集合を決める 部分集合を取り出すときに、以下のfilter methodのfilterを使うこともあるようです。 例: RFE
Kaggleは凄かった! 更に簡単な出品を目指して商品の値段推定精度を改善中 - Mercari Engineering Blog
皆さん、こんにちは機械学習エンジニアの @hurutoriya です。 2018/05/09 にメルカリが開催した Kaggle Competition である「Mercari Price Suggestion Challenge」の閉会式を行いました。 「Mercari Price Suggestion Challenge」では実際に米国版メルカリで販売された商品データを公開して、参加者の皆様に商品の値段推定精度を競い合っていただきました。 Mercari Kaggle Competition: Closing Ceremony 2018 – connpass この閉会式は「Mercari Price Suggestion Challenge」の上位者(ロシア・ポーランド・中国)と日本人上位入賞者を招待して、各種上位者の解法やKaggleに対する考え方をパネルディスカッション形式でお話を
物体認識モデルYOLOv3に完全勝利したM2Detの紹介｜せいしん
はじめに一般物体認識はここ数年で大きな進化を遂げました。その中でも実用的に使いやすい&よく使われている（気がする）のはYOLO v3だと思います。それは、ある程度の予測精度を持ちながら推論速度もはやいというモデルになっているためです。 今回説明するのはそのYOLOv3に対して、予測精度も推論速度も上回るようなモデルのM2Detです。予測精度と推論速度はトレードオフはありますが、どちらをとっても、下記の図のように他のモデルに優位性があることが分かります。 M2DetはAAAI2019に採録された論文のモデルでこれから使われる機会も増えるのではないかと思います。YOLOv3は著者実装や様々なフレームワークの実装、そして学習済みのモデルまで公開されていて非常に使いやすくなっていますが、M2Detも著者実装、学銃済みモデルの公開が予定されていて、公開されれば利用が増えると思います。公開予定のレポジ
Kerasでクラスバランスを保ったまま各Batchを作成するBalancedImageDataGeneratorを作った - Qiita
cifar ├── labels.txt ├── test │ ├── 0_cat.png │ ├── 1000_dog.png │ ├── 1001_airplane.png │ ├── ... ├── train │ ├── 0_cat.png │ ├── 1000_dog.png │ ├── 1001_airplane.png │ ├── ... import numpy as np import pathlib from decimal import Decimal, ROUND_HALF_UP from keras.utils import to_categorical from sklearn.preprocessing import LabelEncoder from PIL import Image from keras.applications.mobilenet imp
機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて - Qiita
はじめに 昨日のTwitterで書いたこちらが非常に反響を呼びました。 半年間かけたデータ解析の仕事が全くうまくいかなかった 今回の失敗は契約書に納品物を明記していなかったこと 機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない この教訓をひとりでも多くの人に知ってもらいたい — キカガク代表 吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日 そうなんですよね。 全く先方が悪いわけでもなく、私自身が「機械学習のお仕事＝解析」だと思いこんでいたことが失敗の始まり。 結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。 この検証とは、訓練データと検証データを分けた時
hyperoptって何してんの？ - Qiita
hyperoptのロジック、使い方、検証結果についてまとめる はじめに 機械学習でモデルを作成する際、hyper-parameterのチューニングが必要になります。 gridサーチで徹底的に調べることができればいいのですが、DNNのようにパラメータ数が多くなると、計算量がとんでもないことになります。 ランダムサーチでパラメータの探索を行えば、計算量を少なくすることは可能ですが、最適なパラメータを見つける確率は低くなります。 そこで、効率よく、良さげなパラメータを探索していく方法に、Sequential Model-based Global Optimization（SMBO）というものがあります。 pythonには、SMBOを利用するためのライブラリであるhyperoptというものがあります（kagglerがよく利用しているらしい・・・）。 hyperoptで検索すると、使い方を説明した記
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
前の仕事でやってたディープラーニングの話
お仕事紹介 この夏にやってた仕事が、その後の皆様の努力もあって無事リリースされたようで、手元のアプリにも降ってきたし、ちょこちょこ表でも話が出ているのでその紹介を。 https://speakerdeck.com/diracdiego/20171029-kantocv-kikuta ここで紹介されているカテゴリ分類、というのが自分がやってた物です。 写真を、料理の名前ごとにフォルダ分けしたかのようなビューを作る、という機能で、そのうちモデルの所だけを担当していました。 UIやサービスとしてはいろいろ難しさもあるにせよ、モデルとしては画像からどの料理か当てる、なんていう、いかにも普通の画像認識問題となっている。 マルチラベルにするかシングルラベルにするか、とか、細かい所で選択肢はいろあろあるにせよ、データセットもラベル付けされてるのが既にあるし、そう難しい事は無いだろう、と思っていた（それは
Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ
研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。
強化学習事例集 by Team AI - Qiita
はじめに 強化学習の時代が来ようとしています。 Team AIの研究会でも、現状ゲームAIとロボティクスに偏りがちな事例を、 もっと多くの産業に広げていきたいと日々議論しています。 今日はそんな強化学習業界の発展に寄与すべく、事例集を日本語訳していきたいと思います。 エンジニアの皆様のヒントになりましたら幸いです。 元情報； http://umichrl.pbworks.com/w/page/7597597/Successes%20of%20Reinforcement%20Learning https://sites.ualberta.ca/~szepesva/RESEARCH/RLApplications.html (速習 強化学習 p76で紹介されていました) 上記より、2008年以降の研究論文をご紹介します。 Adapting to Run-Time Changes in Polic
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MIL WebDNN
論文読みNote ULMFiTモデルからチューニング手法を学ぶ - fish in deep tech oceanあるいは深海魚のお茶漬け
What is a CapsNet or Capsule Network? | HackerNoon
