Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
Petalica Paint
Notice of changes of Terms of service and URL The terms of Petalica Paint has been revised to allow commercial use as long as you agree to it, and we provide the service at the new URL https://petalica.com. Please continue enjoying our service as we will strive to deliver an even better experience. The name of the service has changed Thank you for your patronage with PaintsChainer. Three years aft
ChainerX Beta Release
ChainerX Beta Release By Seiya Tokui Dec 3, 2018 In Announcement Today, we announce ChainerX, a fast, portable, and extensible backend of Chainer. It is aimed at reducing the host-side performance overhead as well as making models much easier to ship for applications. ChainerX is included as an optional feature of Chainer v6.0.0 beta1, and is planned to be officially released as a part of Chainer
ディープラーニングによる異常検知手法ALOCCを実装した - Qiita
はじめに ディープラーニングを用いた異常検知手法であるALOCCをChainerで実装し，MNISTで実験しました。 全体のコードはGitHubのリポジトリにアップロードしました。 ALOCCについて ALOCCは画像データに対して異常検知を行うための手法です。 多くの場合，異常データは正常データに比べて極めて少ないか，全く無いです。 そこで，ALOCCでは正常データのみを利用して学習し，その分布から外れたデータを検出します。 学習 ALOCCのモデルは以下のようなオートエンコーダとGANを組み合わせたような構造をしています。 オートエンコーダ部分はGANのGeneratorに相当し，Reconstructor (${\cal R}$) と呼ばれます。 学習時には正常画像にノイズを加えたデータを入力し，元通りに復元することを学習します。 Discriminator (${\cal D}$)
Deep Learning を使って衛星画像から建物を検出する - Qiita
SpaceNetと呼ばれるデータセットを用いて、衛星画像から建物を検出する畳み込みニューラルネットワークを学習した 学習したニューラルネットワークにより、IoU=0.602 の精度で建物領域を抽出できることを確認した 衛星画像と既存のGISデータに対して機械学習を適用することにより、広域の衛星画像からの情報抽出を大幅に効率化できる可能性を示した Source on GitHub 1 機械学習による衛星写真の自動解析 近年、AIブームの影響もあり、衛星画像の自動解析に注目が集まりつつあります。 衛星画像や航空写真は、地図作成や変化抽出などによく使われていますが、撮影範囲が広く含まれる情報もリッチなため、手動で情報を抽出するのには非常に手間がかかります(例えば、GoogleMapsの衛星画像から一つ一つの建物の輪郭をなぞる、二時期の衛星画像を見比べて変化している場所をくまなく探す、などの作業を
Released Chainer/CuPy v5.0.0
Released Chainer/CuPy v5.0.0 By Seiya Tokui Oct 25, 2018 In Announcement We have released Chainer and CuPy v5.0.0 today! This is a major release that introduces several new features. The following is a list of selected updates. Full updates can be found in the release notes: Chainer, CuPy. Static subgraph optimization (experimental). By applying the @static_graph decorator to the static part of yo
np.choiceとchainer.utils.WalkerAliasの速度対決 - Qiita
chainerのマニュアルに「chainer.utils.WalkerAliasはnp.choiceよりも速い」と書いてあったので，速度を比較してみた．ただしCPUオンリー． chainer.utils.WalkerAlias Alias method on Wikipedia コード import numpy as np import chainer from time import time import matplotlib.pyplot as plt %matplotlib inline loops = 10 # for taking average verc_size = 10 ** np.arange(1, 7) # i n_samples = 10 ** np.arange(1, 7) # j t_choice = np.zeros((len(verc_size), len(
Chainerを高速化するiDeepをインストールする - Qiita
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なターゲットとしていますが、経験上ノートPCレベルでも多少の速度向上があります。 iDeepの活用方法について説明したウェブサイトはいくつかあるのですが、導入をMKLのインストールから通しで説明しているサイトがなかったので、備忘録のためにiDeepの導入方法を記載します。 なお、本説明はUbuntu 16.04、Chainer 5.0.0rc1を対象にしています。iDeepやChainerのAPIは今後どんどんかわってゆくと思われるので、適宜ソースのサイトを参照してください。 手順 Pythonの導入 適当な方法でPythonが使える環境を作ります。このとき、Pythonのshared objectを忘れ
chainer の log を jq コマンドで簡易的に加工する - Qiita
[ { "elapsed_time": 9.816908070999943, "main/loss": 8836.560546875, "epoch": 0, "iteration": 10 }, { "elapsed_time": 17.598767212999974, "main/loss": 2707.71142578125, "epoch": 0, "iteration": 20 }, { "elapsed_time": 25.410781553999982, "main/loss": 809.1326904296875, "epoch": 0, "iteration": 30 } ] JSON ファイルは jq コマンドで加工できる. 例えば, epoch ごとに validation を行なっているときに, validation の結果が存在する部分だけ取り出したい場合,
Chainerで画像分類するためのデータセットを自作して読み込む方法 - Qiita
概要 Chainer入門者向けの記事です。チュートリアルから一歩進んで、世に公開されている画像データや自分で集めた画像などから画像分類の学習用データセットを作る方法をまとめました。 いざ自分でChainerで画像分類に取り掛かろうとした際に、最初に躓いたところであり、調べるのにも時間が掛かったので、備忘録のようなものになります。 環境 macOS High Sierra 10.13.6 python 3.6.5 Chainer 4.3.1 実行例 DeepLearningLabさんがGitHubに以前ハッカソンにて使用していた画像データを公開してくれていますので、そのデータをサンプルにしてChainer用のデータセットを作成していきます。データセットはこちら。 かなりのデータ量なので試す方はご注意ください。とは言っても3GBちょいですけどね。 フォルダ構成は以下のとおりです。 data |
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～Chainerの基本II～Cifar10から学ぶ - Qiita
第廿夜は、本書から逸脱するが、新たなNetworkモデルに拡張するために、基本に戻ってCifar１０のフィッティングについて学びなおす。 やったこと （１）そもそもCifar10のフィッティングについて （２）そもそも今回のモデルでCifar１０はフィッティングできるのか （３）VGGモデルを変えて、Cifar１０のフィッティング精度を見る （１）そもそもCifar10のフィッティングについて いきなりですが、以下を参考にしました。 【参考】 ①ChainerによるCIFAR-10の一般物体認識 (2) ②mitmul/chainer-cifar10 コードはほとんど②のコードを使わせていただきました。 ただし、OpenCV（Augmentation）は使わないのでコメントアウトします。 そして、Networkモデルもこのサイトに示されているように、VGGLikeのモデルのところで大きく精
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～強い方策ネットワークを目指す - Qiita
第廿一夜も、本書から逸脱するが、昨夜の延長としてVGGモデルを利用して、強い方策ネットワークを目指す。 やったこと （１）VGGモデルを利用する （２）LesserKai vs Policy vs VGG_Policyの総当たり戦 （３）さらなる追求 （１）VGGモデルを利用する ほぼ前回のCifar10のモデルから想像できると思いますが、モデルは以下のようなものです。 from chainer import Chain import chainer.functions as F import chainer.links as L from pydlshogi.common import * ch=192 class PolicyNetwork(Chain): def __init__(self): super(PolicyNetwork, self).__init__() with s
機械学習実装時のコード（gpu、chainer、ubuntu） - Qiita
事前にインスールするもの（python3系） numpy, pandas, scipy, matplotlib, numba, chainer, sklearn をpip3で。 他に tkiinterを、sudo apt-get -y install python3-tkで gpu関連 1秒ごとにgpuの使用状況を表示 nvidia-smi -l 1 gpuを稼働するには、コードもgpu対応のものに書き換えないといけない。 https://qiita.com/ikeyasu/items/246515375b34e9fb4846 GPUで実行するには Chainクラスはto_gpuメソッドを持ち、この引数にGPU IDを指定すると、指定したGPU IDのメモリ上にネットワークの全パラメータを転送します。こうしておくと、前進計算も学習の際のパラメータ更新なども全部GPU上で行われるようになりま
ChainerのTRAIN_MNISTベンチマーク(GTX1070有/無) - Qiita
C:\chainer-master\examples\mnist>python train_mnist.py GPU: -1 # unit: 1000 # Minibatch-size: 100 # epoch: 20 epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time 1 0.190619 0.0927074 0.94225 0.9699 46.2703 2 0.0732134 0.0946572 0.976817 0.9698 94.4335 3 0.0495815 0.0804488 0.98425 0.9754 143.703 4 0.0345411 0.0673166 0.988683 0.9802 193.947 5 0.0294899 0.073428
ブラウザで手描き数字認識 (前処理付き版) - Qiita
TL;DL 機械学習において前処理って大事ですね。 はじめに 「そうだ、機械学習をしよう」と思って、とりあえず始めるのはMNISTを使った手書き数字認識だと思う。例えばChainerのサンプルとか動かして、ロスが減って「なんか学習できてるっぽいなぁ」と思うところまで行ったとする。次に「ちゃんと学習できてるか、学習させたモデルに自分の手書き文字を認識させてみよう」と思ってやってみると全然認識できなかったりして驚くわけですね。 この話を機械学習に詳しい人にしたら「ちゃんと前処理した？」と言われて、「いやしてないけど、こんな簡単な認識、前処理の有無でそうそう変わらないでしょ・・・」と思って放置してたのですが、自分の手書きデータをTensorFlowで予測するという記事を見て、「あぁ、やっぱり前処理って大事なんだ」と思って、ちゃんと前処理しました。 ソースコードは以下の場所においておきます。 ht
Chainerで画像分類するためのデータセットを自作して読み込む方法 - Qiita
概要 Chainer入門者向けの記事です。チュートリアルから一歩進んで、世に公開されている画像データや自分で集めた画像などから画像分類の学習用データセットを作る方法をまとめました。 いざ自分でChainerで画像分類に取り掛かろうとした際に、最初に躓いたところであり、調べるのにも時間が掛かったので、備忘録のようなものになります。 環境 macOS High Sierra 10.13.6 python 3.6.5 Chainer 4.3.1 実行例 DeepLearningLabさんがGitHubに以前ハッカソンにて使用していた画像データを公開してくれていますので、そのデータをサンプルにしてChainer用のデータセットを作成していきます。データセットはこちら。 かなりのデータ量なので試す方はご注意ください。とは言っても3GBちょいですけどね。 フォルダ構成は以下のとおりです。 data |
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測する - Qiita
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測するPythonDeepLearningChainercolaboratoryGoogleColaboratory 概要 チャートを見て株取引している人がいるので、チャート画像から株価が予測できるのでは？って思ったのでやってみます。 結論から言うと、5日後の予測で60％前後の正解率になり、予測できたとは言えませんでした。。。 でも、「Seleniumを使て画像をスクレイピングする」ってことができたので、よかったかなと思います。 環境はGoogleColaboratoryを利用します。 チャート画像、翌日株価(CSV)のスクレイピングには、Seleniumを利用します。 WebDriverは、PhantomJSを利用します。（サポート廃止っぽいが動きました。。。自己責任でお願いし
Chainerで画像の一部をメモリにキャッシュして高速化を図るDatasetを作った - Qiita
はじめに モデルを訓練する際に，MNIST程度の画像サイズと枚数のデータセットであれば最初にすべてメモリに読み込むことができるので高速にイテレーションを回すことができます。 しかし，自前のそれなりに大きいサイズと枚数の画像データセットでモデルを訓練しようとすると，データがすべてメモリに乗り切らなくなってしまうことがよくあります。 ChainerのImageDataset Chainerには自前の画像データセットを扱うためにImageDataset, LabeledImageDatasetなどのクラスが用意されています。 これらのクラスは画像のパスやラベルだけを保持しており，画像データ自体はイテレータなどからget_example()が呼び出されるたびにその都度読み込まれます。 そのため，メモリに乗り切らないような大規模なデータセットも扱うことができますが，画像を参照するたびに読み込みのオー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
chainer - Qiita
ImageNet-1k画像データセット準備 (タスク並列で256x256 crop処理を高速化) - Qiita