すでにトレーニングされたモデルからWやbなどの重みを取得することで、より早く学習を進めることができる (fine-tuning)。 モデル自体が完全に同じ場合には当然使えるし、モデルの一部を修正して使用する場合にも、変更の必要がない層に関しては、あらかじめ学習済みのモデルから重みを借用するのが良い。例えば、分類先の画像種類が1000種類から10種類に切り替える場合などは、最終の全結合層のみ切り替える必要はあるが、それ以前の畳み込み層などは変更の必要性は少なく、その部分の重みを使用することができる。 計算時間短縮に結びつく背景には、以下のような点が挙げられる： - あらかじめ大量の計算資源を使用して収束した時点の結果を使用するため、それまでの計算時間を省略可能。特に、畳み込み層の第一層はガボールフィルタに近似するという研究も多く、あえてそこを新規で学習させる必要性はあまり感じられない - ま

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

概要 この記事では、Neural NetworkフレームワークであるChainerの最も特徴的なコンセプトである"Define-by-Run"を理解するために、手書き数字の分類を行うためのネットワークの記述・学習に必要な最低限の機能だけを持ったライブラリ"1f-chainer"をNumPyのみを使って実装してみます。数式が登場するような説明は全てAppendixに追いやり、本文中ではできるだけコードと文章だけで説明を行うように気をつけて書きました。 本記事で用いた全てのコードは以下に置いてあります：1f-chainer。書き始めると色々なことを追記したくなり間に合わなかったので、今週いっぱいを目処に順次更新していきます。 また、この記事の全ての内容は私個人の見解と理解に基づくものであり、所属する組織とは関係ありません。 想定読者 この記事は、Backpropagationを使ったNeura

警告 この記事はすでにサポートが打ち切られているChainer v1の最終リリース（v1.24.0）向けに書かれた笑えないレベルで古すぎる記事です。 2017年12月時点での最新安定版のChainer v3向けに書かれた記事がこちらにありますので、どうしてもv1に入門する必要があるという超特殊事情を抱えた方以外は、今すぐそちらに飛んでください。 Go!! -> Chainer v3 ビギナー向けチュートリアル 第1回 Chainer Beginner's Hands-onを大手町にあるPreferred Networksオフィスの多目的室にて開催いたしました。この記事は、このハンズオンで行った内容を記事化したものです。 ハンズオン当日に使用した資料等は以下のGithubリポジトリにまとめられています。 mitmul/chainer-handson 当日は、さくらインターネット様より4つのP

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

ども、大瀧です。 PaintsChainerはディープラーニング技術であるニューラルネットワークのフレームワークChainerを利用した、線画像を着色するWebサービスです。ソース自体は公開されているので、NVIDIA製GPUを搭載した自前のマシンで手軽に試すことができます。 線画着色webサービスPaintsChainerを公開してみた - Qiita 今回は、NVIDIA Tesla K80 GPUが使えるAmazon EC2 P2インスタンスのDockerコンテナ上で実行してみました。 [GPU] 新インスタンスタイプにp2が追加されました ｜ Developers.IO 動作確認環境 AWSリージョン : オレゴン EC2インスタンスタイプ : p2.xlarge AMI : amzn-ami-hvm-2016.09.1.20170119-x86_64-gp2 (ami-f173c

やったこと AWSのp2.xlargeにCUDA, cuDNNを利用可能なChainer環境を作成してみました。 前提 以下のバージョンを利用しました。（実施時点のものです） version

CUDA Toolkitを管理する方法としてnvidia-dockerを使うという手段がありますが、今回はこれを用いず直接CUDA Toolkitをインストールしました。 環境 Ubuntu16.04 64bit Core i5 GeForce 940M 用意するもの CUDA toolkit cuDNN ドライバ (自分の環境に合わせて適切に選択) CUDA Toolkitのインストールにはrunfile(cuda_8.0.44_linux.run)を用いました。 インストール手順 1. ドライバをインストールする セキュアブートが有効になっている場合は、あらかじめ無効にしておいてください。 Ctrl+Alt+F1でtty1に移動して、nvidia-smiコマンドとドライバをインストールします。 途中でX11の設定を書き換えるかどうかを聞かれます。書き換えると画面が映らなくなったりするの

本記事はChainer Advent Calendar 2016の20日目のエントリです。 ペンパイナッポー（以下PP)とアッポーペン（以下AP)の画像識別方式の確立は急務です。下記は"PPAP"のここ三ヶ月のGoogle Trend推移ですが、すごい速度で減衰しています。正直もう遅いのかもしれませんが、であったとしても次のビッグウェーブに一目散に乗れるように反射神経を鍛えておく必要があります。 PPとAPをひと目で見分ける認識器の必要性についてご理解いただいたところで、昨今のディープラーニングによる物体認識の進展に目を向けますと、Deep Learningによる一般物体検出アルゴリズムの紹介という記事にまとまっているように、優れた手法が次々と提案されています。最後のコメントにあるように、最大の課題は学習用のデータセットをどう準備するかというところです。 残念なことに、PPAPデータセット

こんにちは、データチームの後藤です。この記事では、一般物体認識で優秀な成績を収めた代表的なニューラルネットワークモデルを、ファッションアイテムの画像データに対して適用し、どのアーキテクチャが有用か、どれだけの精度を出せるのかを調べる実験を行います。 今回は、 AlexNet Network In Network GoogLeNet DenseNet の4つのアーキテクチャを試しました。 背景 iQONでは毎日500以上のECサイトをクロールし、一日平均1万点もの新着アイテムを追加しています。この過程で、新着アイテムがiQONのどのカテゴリに属するのかを決める必要がありますが、この作業を人手で行うと膨大なコストになってしまいます。この問題に対して我々は、アイテムの名前や説明文、画像データを活用してカテゴリを判別する仕組みを作りました。とくに画像データによる判別には、畳み込みニューラルネットワ

【追記】(2017/03/01) chainer公式にDCGANのサンプルが追加されました。こちらでは、エレガントにUpdaterが書かれていますので是非そちらもご覧になってください。 個人的に今年はGANに関する論文がかなり多いと感じています。 GANを扱うとなると必要なモデルは最低2つ、場合によっては3つのこともあります。 さて、chainer=1.11からTrainerなどによる学習ループが抽象化された一方、Trainerでは基本的に1つのモデルを受け取り学習を実行するように実装されているためGANを実装する場合は、 for epoch in six.moves.range(n_epoch): perm = np.random.permutation(N) for i in six.moves.range(0, N, batch_size): x_batch = x_train[i*

in English はじめに 先のページで Chainer を用いてシーン認識を行った。今回は、簡略化した Fully Convolutional Networks（FCN） を Chainer を使って実装してみる。（ここに追記した。) 計算機環境 これまでと同じく、Amazon EC2 にある g2.2xlarge を利用した。GPU を搭載したインスタンスである。 データセット 今回使うデータセットは VOC2012 である。以下のような領域分割用の教師データも含まれている。 領域分割の教師データの数は2913枚、これを4:1に分割し、前者を訓練データ、後者をテストデータとした。 number of train number of test 2330 580 訓練データ数は10で、テストデータ数は5で割り切れるように端数を切り捨てた（それぞれ訓練時のミニバッチサイズである）。文献の

こんにちは、ほけきよです！ 強化学習って知ってますか？ 「AlphaGoが、碁の世界王者を破った」 などと最近脚光を浴びている機械学習技術ですね。 私のブログでも何回か関連記事を出しているのですが、 今回は、Chainerで強化学習を簡単に扱えるツール、「ChainerRL」を使ってみました！ なかなか便利だったので使い方を解説やまとめ、Tipsを加えながらメモしてみました。 (コードはjupyter準拠なので、上から順番にコピペすると基本は動くはずです) これから強化学習やってみたいという人は、これで強化学習がどんなものか試してみるのもいいかもしれません！ 強化学習って？ chainerrl Setup 必要なライブラリをimportする environmentの設定 environmentに必要な要件(最低限) 今回使うもの Agentの設定 ChainerRLでデフォで実装されている

Chainer imagenet example 機械学習で多クラス画像分類を行いたいと思った時に、Chainerのサンプルコード https://github.com/pfnet/chainer/tree/master/examples/imagenet は非常によくできていて、ほぼ手をつけずに応用が効いて便利です。 こちらの投稿「PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門」に従ってデータを用意・処理すれば、大体思うように動いてくれます(データセットが適切である必要はもちろんありますが)。 このサンプルでは、下処理として学習画像の平均値を用いたデータの正規化を行っています。また、データ拡張として、ランダムな領域のクリッピングと左右反転を行っています。 TensowFlowのCIFAR-10サンプル

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

最近、Deepな生成モデルが熱いです。 中でもDeep Convolutional Generative Adversarial Networks (DCGAN) は、写真並みの画像を生成できるということで、非常に有名になりました。以前書いた記事でも少し触れましたが、計算の果てに画像を生成できるってところになんか惹かれますね。 Deepな生成モデルの歴史的な流れについては以下のPFNの動画が参考になります。 www.youtube.com ということで、DCGANの元となるGANについて説明しつつ実装し、そのあとDCGANもどきを実装し、画像生成を行おうと思います。 Generative Adversarial Nets (GAN) GANでは、2つのNNを学習させることによって、生成モデルを構築します。2つのNNは、それぞれDiscriminatorとGeneratorと呼ばれていて、こ

はじめに 深層学習フレームワークChainerを初めて使ってみたい方やChainerを使って画像処理、言語処理などをしてみたい方向けにChainerに関する様々なページをまとめてみました。 各ページの簡単な要約も記載しています。 「情報が多すぎて何から見ればいいか分からない」という方のお役に立てれば幸いです。 基本編では、Chainerに付属するサンプルプログラムを使ったページ、 実践編では、MLP, RNN, CNNをそれぞれ使って画像分類や画像認識、自然言語生成をしているページを中心に紹介します。 ニューラルネットワーク・Chainerが初めての方向け Chainerの導入方法・環境設定 Chainer公式サイト CHAINER 1.5.1をUBUNTU14.04にインストール Chainerで始めるニューラルネットワーク Introduction to chainer Chainer