Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には、さらに一つ「インストールが簡単」というのも挙げたいと思います。 ディープラーニング系のフレームワークはどれもインストールが面倒なものが多いのですが、Chainerは依存ライブラリが少なく簡単に導入・・・できたんですが、1.5.0からCythonを使うようになりちょっと手間になりました。インストール方法については以下をご参照ください。 Mac Windows AWS 公式インストール情報 また、C

nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu

(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット

先週 Skip-Thought Vectors について調べてみたわけですが、その中でよく何を言っているのかよく分かっていなかった、 attention mechanism について調べてみました。 調べるにあたって、最近のDeep Learning (NLP) 界隈におけるAttention事情 が大変参考になりました。ありがとうございます。 まず attention 、特にエンコーダー・デコーダーモデルにおける attention について簡単に説明すると、入力情報全体ではなく、その一部のみを特にフォーカスしたベクトルをデコーダーで使用する仕組みのことです。そのことにより、デコードの特定のタイミングにだけ必要になる入力情報を精度よく出力に反映させることができるようになります。 これだけでは何のことかちょっと分かりにくいので、Neural machine translation by j

Neural Network with Attention Mechanism for Natural Language Processing: survey Read less

ついにガロアが死んだ年齢を超えてしまったことに気がつき、自分がまだ何も成し遂げていないことを悲しく思う今日このごろです。 さて、今日はGoogleが出した機械学習ライブラリのTensorFlowの使い方について軽く説明しつつ、ゆるゆりの制作会社の識別を行おうと思います。 TensorFlowとは TensorFlowはGoogleが11/9に公開したApache 2.0ライセンスで使える機械学習ライブラリです。Googleは様々なところでプロダクトに機械学習を活用していますが、TensorFlowは実際にGoogle内部の研究で使われているそうです（TensorFlow: Google 最新の機械学習ライブラリをオープンソース公開 - Google Developer Japan Blog）。 Googleのネームバリューは恐ろしいもので、GitHubのStar数はすでにChainerやC

この記事を読みニューラルネットワークに興味を持ち勉強を始めました。 ニューラルネットワークを目で見て直感的に理解できるのは素晴らしいですね。 半年以上も前の記事なのでコメントを読まれているか分かりませんが、お聞きしたいことがあります。 TensorFlow Playgroundの入力層のFeatureについて勉強をしているのですが、なぜ生の入力値(座標x,y)ではなく、Featureを間にかませているかその背景を教えていただきたいです。 というのも、MNISTのチュートリアル等では縦横28x28ピクセルの784個のアドレスのグレースケールの値を入力とし、入力層に784個のニューロンを並べている解説が 多く、TensorFlow Playgroundで行われているようなFeatureの選択がどこから出てきたものなのか分からないのです。 ちょっと宣伝のようになってしまいますが、自分の学習成果の

* この投稿は米国時間 5 月 12 日に投稿されたもの（投稿はこちら）の抄訳です。 Posted by 佐藤一憲, Staff Developer Advocate, Google Cloud Cliff Young, Software Engineer, Google Brain David Patterson, Distinguished Engineer, Google Brain Google 検索、ストリートビュー、Google フォト、そしてGoogle 翻訳。これらのサービスに共通するのは、いずれもニューラルネットワーク（NN）の計算処理の高速化のために Google の第一世代の Tensor Processing Unit (TPU) が用いられている点です。 Google の Tensor Processing Unit (TPU) が搭載された回路基板（左）と、 G

去年書いたサンプルコード集の2016年版です。 個人的な興味範囲のみ集めているので網羅的では無いとは思います。 基本的に上の方が新しいコードです。 QRNN(Quasi-Recurrent Neural Networks) 論文ではchainerを使って実験しており、普通のLSTMはもちろんcuDNNを使ったLSTMよりも高速らしい。 一番下にchainer実装コードが埋め込まれている。 New neural network building block allows faster and more accurate text understanding [1611.01576] Quasi-Recurrent Neural Networks Softmaxなどに要している時間を除き純粋にRNN部だけで比較すると相当速くなっているのがわかる。 このように実験でchainerが使われている研

Deep Learning の簡単な説明から実装、そしてChainer の使い方を紹介します。CUDA サポートについても簡単に解説します。 最新のインストール方法も含んでいます。Read less

このブログで何回も取り上げているように、ニューラルネットワークを用いた機械学習はかなりの力を発揮します。畳み込みニューラルネットワーク(convolutional neural network, CNN)は画像中で近くにあるピクセル同士の関係に注目するなど画像の特徴をうまくとらえたネットワークを構築することでかなりの成功を収めています。ノーフリーランチ定理が示唆するように万能の機械学習器は存在しないため、対象とするデータの特徴を捉えた学習器を構築することが機械学習の精度を上げる上で重要になります。 そこで今回は時系列データの解析に向いた回帰結合ニューラルネットワーク(recurrent neural network, RNN)の精度を上げるのに重要なLSTMを取り上げます。 この記事では誤差逆伝搬などのニューラルネットワークの基本知識は説明しません。誤差逆伝搬についてはPRMLの5章やNe

Gradient Boosting や XGBoostについて調べたことをまとめました． Gradient Descent や Newton法と絡めて説明していきたいと思います． 目次 Boosting Gradient Descent (Steepest Descent) Gradient Boosting Regression Tree Gradient Tree Boosting Learning rate Newton Boosting XGBoost Generalization Error Conclusion Reference Boosting Boostingとは，ランダムより少し良い程度の”弱い”学習アルゴリズムを使って， そのアルゴリズムよりも”強い”学習アルゴリズムをつくることです． イメージとしては，弱い学習アルゴリズムを”boost”してあげる感じでしょうか．

自分の研究室は自然言語処理を扱っている研究室で、自分自身も自然言語を扱った研究をしたいと考えているのですが、 「CNNの気持ちを理解できるかな？」と思いComputer Visionで有名そうな論文を何本か読んでみたので、 日記をつける程度の感覚でものすごく簡単にまとめてみようと思います。どんな論文を読んでみようか迷っている方のお役に立ったとしたら幸いです。 初学者につき間違い等ありましたら、コメントなどでご教授いただければ幸いです。 ImageNet Classification with Deep Convolutional Neural Networks (link) おそらくこれはDeepLeaningが盛り上がり始めた頃の論文ですね。 これを読んでみた理由としては、学習に使用するデータの正規化等の方法が他の論文から多く引用されているのを発見したからです。 Local Respon

画像のスタイルを変換するアルゴリズムとしてGatysらの"A Neural Algorithm of Artistic Style"が知られていますが、これを高速に行う手法が現れました。 以下のつぶやきを見て驚愕したので早速調べました。 testing real-time style transfer published in the last week with #chainer and #openFrameworks pic.twitter.com/KrQaN8TSs9 — Yusuke Tomoto (@_mayfa) 2016年4月7日 2016/4/12追記 Yusuke Tomoto氏による実装が公開されました。Chainerを使っています。 https://github.com/yusuketomoto/chainer-fast-neuralstyle 実装の元になった論文は

TVアニメCharlotteのヒロイン友利奈緒がTwitter上で異常に増殖する怪現象が起こっています。 友利奈緒検出器、川奈プロが3秒で実装しそうなやつだ— Ararik (@fimbul11) September 2, 2015 と煽られたので実装しました。（3秒ではできませんでした） 遊び方 @mitra_sun22に画像つきのリプライを飛ばせば顔と判定した部分に白枠をつけた画像と判定結果を返信します。簡単ですね！ ちなみに友利奈緒と判定された画像は筆者(@kivantium)のTwitterアイコンに設定されるようになっています。 要素技術 Twitterで煽られたので、Twitterで送られた画像から顔を検出してその顔が友利奈緒かどうか判断してリプライするという仕様にしました。 ほとんど過去の記事からコピペしただけでできました。 Twitterからの画像を処理する部分: Twit

先日Deep Learningでラブライブ！キャラを識別するという記事が話題になっていました。この記事で紹介されている SIG2D 2014を知り合いから貸してもらったので参考にしながら、ご注文は機械学習ですか？のDeep Learning版を作ってみました。 Caffeなど必要なソフトのインストール Ubuntu 14.04の場合は過去記事を参照してください。これ以外にもpython-opencvなどを使いますが、依存関係の全ては把握できていないのでエラーが出たら適宜インストールしてください。 データの準備 Deep Learningでは大量の学習データが必要になると言われているので、まずは大量のデータを用意します。参考記事では6000枚のラブライブ画像を使ったということなので対抗して12000枚以上のごちうさ画像を用意したいと思います。それだけのデータを手動で分類するとそれだけで時間が