ディープラーニングによる異常検知手法ALOCCを実装した - Qiita
はじめに ディープラーニングを用いた異常検知手法であるALOCCをChainerで実装し，MNISTで実験しました。 全体のコードはGitHubのリポジトリにアップロードしました。 ALOCCについて ALOCCは画像データに対して異常検知を行うための手法です。 多くの場合，異常データは正常データに比べて極めて少ないか，全く無いです。 そこで，ALOCCでは正常データのみを利用して学習し，その分布から外れたデータを検出します。 学習 ALOCCのモデルは以下のようなオートエンコーダとGANを組み合わせたような構造をしています。 オートエンコーダ部分はGANのGeneratorに相当し，Reconstructor (${\cal R}$) と呼ばれます。 学習時には正常画像にノイズを加えたデータを入力し，元通りに復元することを学習します。 Discriminator (${\cal D}$)
Deep Learning を使って衛星画像から建物を検出する - Qiita
SpaceNetと呼ばれるデータセットを用いて、衛星画像から建物を検出する畳み込みニューラルネットワークを学習した 学習したニューラルネットワークにより、IoU=0.602 の精度で建物領域を抽出できることを確認した 衛星画像と既存のGISデータに対して機械学習を適用することにより、広域の衛星画像からの情報抽出を大幅に効率化できる可能性を示した Source on GitHub 1 機械学習による衛星写真の自動解析 近年、AIブームの影響もあり、衛星画像の自動解析に注目が集まりつつあります。 衛星画像や航空写真は、地図作成や変化抽出などによく使われていますが、撮影範囲が広く含まれる情報もリッチなため、手動で情報を抽出するのには非常に手間がかかります(例えば、GoogleMapsの衛星画像から一つ一つの建物の輪郭をなぞる、二時期の衛星画像を見比べて変化している場所をくまなく探す、などの作業を
np.choiceとchainer.utils.WalkerAliasの速度対決 - Qiita
chainerのマニュアルに「chainer.utils.WalkerAliasはnp.choiceよりも速い」と書いてあったので，速度を比較してみた．ただしCPUオンリー． chainer.utils.WalkerAlias Alias method on Wikipedia コード import numpy as np import chainer from time import time import matplotlib.pyplot as plt %matplotlib inline loops = 10 # for taking average verc_size = 10 ** np.arange(1, 7) # i n_samples = 10 ** np.arange(1, 7) # j t_choice = np.zeros((len(verc_size), len(
Chainerを高速化するiDeepをインストールする - Qiita
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なターゲットとしていますが、経験上ノートPCレベルでも多少の速度向上があります。 iDeepの活用方法について説明したウェブサイトはいくつかあるのですが、導入をMKLのインストールから通しで説明しているサイトがなかったので、備忘録のためにiDeepの導入方法を記載します。 なお、本説明はUbuntu 16.04、Chainer 5.0.0rc1を対象にしています。iDeepやChainerのAPIは今後どんどんかわってゆくと思われるので、適宜ソースのサイトを参照してください。 手順 Pythonの導入 適当な方法でPythonが使える環境を作ります。このとき、Pythonのshared objectを忘れ
chainer の log を jq コマンドで簡易的に加工する - Qiita
[ { "elapsed_time": 9.816908070999943, "main/loss": 8836.560546875, "epoch": 0, "iteration": 10 }, { "elapsed_time": 17.598767212999974, "main/loss": 2707.71142578125, "epoch": 0, "iteration": 20 }, { "elapsed_time": 25.410781553999982, "main/loss": 809.1326904296875, "epoch": 0, "iteration": 30 } ] JSON ファイルは jq コマンドで加工できる. 例えば, epoch ごとに validation を行なっているときに, validation の結果が存在する部分だけ取り出したい場合,
Chainerで画像分類するためのデータセットを自作して読み込む方法 - Qiita
概要 Chainer入門者向けの記事です。チュートリアルから一歩進んで、世に公開されている画像データや自分で集めた画像などから画像分類の学習用データセットを作る方法をまとめました。 いざ自分でChainerで画像分類に取り掛かろうとした際に、最初に躓いたところであり、調べるのにも時間が掛かったので、備忘録のようなものになります。 環境 macOS High Sierra 10.13.6 python 3.6.5 Chainer 4.3.1 実行例 DeepLearningLabさんがGitHubに以前ハッカソンにて使用していた画像データを公開してくれていますので、そのデータをサンプルにしてChainer用のデータセットを作成していきます。データセットはこちら。 かなりのデータ量なので試す方はご注意ください。とは言っても3GBちょいですけどね。 フォルダ構成は以下のとおりです。 data |
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～Chainerの基本II～Cifar10から学ぶ - Qiita
第廿夜は、本書から逸脱するが、新たなNetworkモデルに拡張するために、基本に戻ってCifar１０のフィッティングについて学びなおす。 やったこと （１）そもそもCifar10のフィッティングについて （２）そもそも今回のモデルでCifar１０はフィッティングできるのか （３）VGGモデルを変えて、Cifar１０のフィッティング精度を見る （１）そもそもCifar10のフィッティングについて いきなりですが、以下を参考にしました。 【参考】 ①ChainerによるCIFAR-10の一般物体認識 (2) ②mitmul/chainer-cifar10 コードはほとんど②のコードを使わせていただきました。 ただし、OpenCV（Augmentation）は使わないのでコメントアウトします。 そして、Networkモデルもこのサイトに示されているように、VGGLikeのモデルのところで大きく精
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～強い方策ネットワークを目指す - Qiita
第廿一夜も、本書から逸脱するが、昨夜の延長としてVGGモデルを利用して、強い方策ネットワークを目指す。 やったこと （１）VGGモデルを利用する （２）LesserKai vs Policy vs VGG_Policyの総当たり戦 （３）さらなる追求 （１）VGGモデルを利用する ほぼ前回のCifar10のモデルから想像できると思いますが、モデルは以下のようなものです。 from chainer import Chain import chainer.functions as F import chainer.links as L from pydlshogi.common import * ch=192 class PolicyNetwork(Chain): def __init__(self): super(PolicyNetwork, self).__init__() with s
機械学習実装時のコード（gpu、chainer、ubuntu） - Qiita
事前にインスールするもの（python3系） numpy, pandas, scipy, matplotlib, numba, chainer, sklearn をpip3で。 他に tkiinterを、sudo apt-get -y install python3-tkで gpu関連 1秒ごとにgpuの使用状況を表示 nvidia-smi -l 1 gpuを稼働するには、コードもgpu対応のものに書き換えないといけない。 https://qiita.com/ikeyasu/items/246515375b34e9fb4846 GPUで実行するには Chainクラスはto_gpuメソッドを持ち、この引数にGPU IDを指定すると、指定したGPU IDのメモリ上にネットワークの全パラメータを転送します。こうしておくと、前進計算も学習の際のパラメータ更新なども全部GPU上で行われるようになりま
ChainerのTRAIN_MNISTベンチマーク(GTX1070有/無) - Qiita
C:\chainer-master\examples\mnist>python train_mnist.py GPU: -1 # unit: 1000 # Minibatch-size: 100 # epoch: 20 epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time 1 0.190619 0.0927074 0.94225 0.9699 46.2703 2 0.0732134 0.0946572 0.976817 0.9698 94.4335 3 0.0495815 0.0804488 0.98425 0.9754 143.703 4 0.0345411 0.0673166 0.988683 0.9802 193.947 5 0.0294899 0.073428
ブラウザで手描き数字認識 (前処理付き版) - Qiita
TL;DL 機械学習において前処理って大事ですね。 はじめに 「そうだ、機械学習をしよう」と思って、とりあえず始めるのはMNISTを使った手書き数字認識だと思う。例えばChainerのサンプルとか動かして、ロスが減って「なんか学習できてるっぽいなぁ」と思うところまで行ったとする。次に「ちゃんと学習できてるか、学習させたモデルに自分の手書き文字を認識させてみよう」と思ってやってみると全然認識できなかったりして驚くわけですね。 この話を機械学習に詳しい人にしたら「ちゃんと前処理した？」と言われて、「いやしてないけど、こんな簡単な認識、前処理の有無でそうそう変わらないでしょ・・・」と思って放置してたのですが、自分の手書きデータをTensorFlowで予測するという記事を見て、「あぁ、やっぱり前処理って大事なんだ」と思って、ちゃんと前処理しました。 ソースコードは以下の場所においておきます。 ht
Chainerで画像分類するためのデータセットを自作して読み込む方法 - Qiita
概要 Chainer入門者向けの記事です。チュートリアルから一歩進んで、世に公開されている画像データや自分で集めた画像などから画像分類の学習用データセットを作る方法をまとめました。 いざ自分でChainerで画像分類に取り掛かろうとした際に、最初に躓いたところであり、調べるのにも時間が掛かったので、備忘録のようなものになります。 環境 macOS High Sierra 10.13.6 python 3.6.5 Chainer 4.3.1 実行例 DeepLearningLabさんがGitHubに以前ハッカソンにて使用していた画像データを公開してくれていますので、そのデータをサンプルにしてChainer用のデータセットを作成していきます。データセットはこちら。 かなりのデータ量なので試す方はご注意ください。とは言っても3GBちょいですけどね。 フォルダ構成は以下のとおりです。 data |
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測する - Qiita
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測するPythonDeepLearningChainercolaboratoryGoogleColaboratory 概要 チャートを見て株取引している人がいるので、チャート画像から株価が予測できるのでは？って思ったのでやってみます。 結論から言うと、5日後の予測で60％前後の正解率になり、予測できたとは言えませんでした。。。 でも、「Seleniumを使て画像をスクレイピングする」ってことができたので、よかったかなと思います。 環境はGoogleColaboratoryを利用します。 チャート画像、翌日株価(CSV)のスクレイピングには、Seleniumを利用します。 WebDriverは、PhantomJSを利用します。（サポート廃止っぽいが動きました。。。自己責任でお願いし
Chainerで画像の一部をメモリにキャッシュして高速化を図るDatasetを作った - Qiita
はじめに モデルを訓練する際に，MNIST程度の画像サイズと枚数のデータセットであれば最初にすべてメモリに読み込むことができるので高速にイテレーションを回すことができます。 しかし，自前のそれなりに大きいサイズと枚数の画像データセットでモデルを訓練しようとすると，データがすべてメモリに乗り切らなくなってしまうことがよくあります。 ChainerのImageDataset Chainerには自前の画像データセットを扱うためにImageDataset, LabeledImageDatasetなどのクラスが用意されています。 これらのクラスは画像のパスやラベルだけを保持しており，画像データ自体はイテレータなどからget_example()が呼び出されるたびにその都度読み込まれます。 そのため，メモリに乗り切らないような大規模なデータセットも扱うことができますが，画像を参照するたびに読み込みのオー
ChainerRLでブロック崩しを学習する - Qiita
CSGAdventCalendar最終日です。 ChainerRLを使ってブロック崩しの学習をさせるチュートリアルをやりました。 実装はGoogleColaboratoryを使いました。 ChainerRLとは Chainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開したもの。 以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装している。 Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemare et al., 2016) Deep Deter
Raspberry Piとディープラーニングで画像認識やろうとしたら重かったのでサーバーに計算させた - Qiita
はじめに Raspberry Pi上でImageNetの学習済みモデルを使い，カメラから入力した画像を認識しようとしましたが，モデルが大きすぎてメモリに乗りませんでした。 そこで，以下のようにラズパイからサーバーに画像を送信して認識結果を返すような仕組みを実装しました。 方法 ソケット通信でサーバーとやり取りします。 コードはGitHubのリポジトリにもアップロードしてあります。 サーバー側 画像認識の部分はChainerで行っています。 モデルはVGGを利用しました。 # coding: utf-8 import socket, threading import chainer import chainer.links as L import numpy as np class ImageNetPredictor: def __init__(self): self.model = L.V
kaggleのHome Credit Default Riskに挑戦した1週間 - Qiita
1日目 Kaggleにサインアップ〜Competitionに登録 https://www.kaggle.com/ Googleアカウントなどがあれば簡単にアカウントは作成できます。Competitionに参加するまでは以下の記事が参考になったので掲載させていただきます。 Kaggle事始め https://qiita.com/taka4sato/items/802c494fdebeaa7f43b7 ↓ログイン後のトップページ ↓コンペティション一覧ページ コンペを選んで「Join Competition」をクリックし、規約に同意すると参加完了です。 参加した「Home Credit Default Risk Competition」は、2018/8/29 11:59 PM (UTC)が最終締め切りでした。 https://www.kaggle.com/c/home-credit-defau
Chainer v4 PILからNumpy NumpyからPILの変換 - Qiita
img = Image.open("aaa.png") numpyArray = np.asarray(img).astype("f").transpose(2, 0, 1) / 128 - 1.0 array = np.asarray(((numpyArray + 1) * 128).astype("i").transpose(1, 2, 0)) img = Image.fromarray(np.uint8(array)) img.show()
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
chainer - Qiita
ImageNet-1k画像データセット準備 (タスク並列で256x256 crop処理を高速化) - Qiita