【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
畳込みニューラルネットワークの基本技術を比較する ーResnetを題材にー - Qiita
今更ながら、畳込みニューラルネット（CNN）の基本技術を比較します。 やりたいことは、どの技術が一番効果があるのか数値化します。 以下の流れでやっていきます。 （基本のCNN） → （Resnetの各技術を追加していく） → （+最先端技術） 基本のCNNに、Resnetに出てくる技術を追加しながら、分類精度の上昇幅を比較します。 コードはkerasで書いています。 Resnetとは 2015年に登場したモデルで、層を飛ばす仕組みを作ることで、深い層を作っても 学習可能なモデルとなりました。ディープラーニング業界では、斬新なアイデアで 革命を起こしました。 詳しくは以下の記事をご覧下さい。 https://qiita.com/koshian2/items/343a55d59d8fdc112661 データのダウンロード 使うデータはCIFAR-10です。これは、32×32サイズの画像が入った
［失敗談］GANで戦車画像の生成 - Qiita
今回はGANを使って、画像の生成をしたいと思います。 GANを使ったアニメキャラクターの生成は多く見られるので、 今回は、硬派に戦車の画像生成をしたいと思います。 まずは、結果から 結果はこのような画像が生成されました。 左上の画像は戦車に見えなくもないですが、とても成功とは言い難く、 順を追って失敗理由を探ります。ちなみに、学習はColaboratoryを使い、 1時間ほどで完了しました。 皆さんがチャレンジする際は、私のような醜態をさらさずに、是非成功させてください。 戦車画像の取得 最初は以下の記事を参考に、yahooの画像検索でデータを集めようとしました。 https://qiita.com/ysdyt/items/565a0bf3228e12a2c503 しかし、類似の戦車が混在するため、結局、手作業でティーガー戦車の画像を 50枚集めました。 そして、kerasのData Au
Variational Autoencoderを使った画像の異常検知 前編 - Qiita
残ったM_VAEで評価すると、図中の青い線と赤い線は、同じ土俵で比較することが できます。つまり、同じ閾値で異常判定ができるということです。 コードの解説 コードは以下をベースにしています。 https://github.com/keras-team/keras/blob/master/examples/variational_autoencoder_deconv.py 以下、本稿のコードの一部を解説します。（全コードは一番下に示してあります。） 画像の切り出し 基の画像から、一部を切り取って学習データを作っています。 本稿では、28×28サイズから8×8サイズを切り取り、10万枚を 学習データとして用意しました。 #8×8のサイズに切り出す def cut_img(x, number, height=8, width=8): print("cutting images ...") x_o
Variational Autoencoderを使った画像の異常検知 後編 （塩尻MLもくもく会＃7） - Qiita
前編では、ヒートマップを使って異常個所を可視化しました。 後編では、従来手法と提案手法を数値的に比較してみます。 使うツールは、ROC曲線です。 ROC曲線 ROC曲線は、ラベル間のデータ数に差があるときに使われます。 ROC曲線について、詳しく知りたい方はこちら↓を参考にしてください。 http://www.randpy.tokyo/entry/roc_auc 今回は、ラベル間のデータ数に大きな差はありませんが、論文にならって ROC曲線を描画します。最終的に、AUCを算出して、これが大きい方が優れた 異常検知器といえます。 コードの解説 コードの一部を解説します。 異常スコアの算出 論文によると、異常判定の基準は以下のとおりです。 このパッチ全てに関して異常度を算出し、少なくとも1枚が閾値を 超えてる場合、テストデータは異常であると判断した． パッチというのは、前編でお伝えした小窓に相
ベイズ最適化シリーズ（2） －アンサンブル学習（Voting）の最適化－ - Qiita
前回は、ベイズ最適化の可視化を行いました。 今回は、アンサンブル学習（Voting）にベイズ最適化を適用します。 Votingとは アンサンブル学習といえばStackingが有名ですが、Votingは各分類器で多数決を とって決める手法です。詳しくは参考資料のリンクを見て下さい。 図にすると以下のようになります。 ここでは、K近傍法、XGBoost、ランダムフォレスト、ニューラルネットの4つを 使っています。予測ラベルの決定は単純な多数決ではなく、それぞれの分類器に 重み係数kを掛けて投票させます。 この重み係数をベイズ最適化で求めるのが、本稿のテーマです。 式にすると、以下のようになります。 ここでは、K近傍法の係数を1に固定しています。重み付きの投票で一番多かった 投票がラベルとして出力されます。 分類精度が最も高くなるように、k1,k2,k3をベイズ最適化で求めます。 各分類器の用意
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Colaboratory環境下で、matplotlibを使いgif動画を保存する - Qiita
