はてなブックマーク

上記は、普通の RNN の前進パスの仕様を決めます。そのための RNN のパラメータは、３つの行列 $W_{hh}, W_{xh}, W_{hy}$ です。隠れ状態 $self.h$ は、ゼロベクトルで初期化されます。$np.tanh$ 関数はアクティベーションを $[-1, 1]$ の範囲に押しつぶす、非線形性を実現します。どのように作用するのか簡単に述べると：tanh 内に２つの項があります：一方は前の隠れ状態に基づき、他方は現在の入力に基づきます。numpy の $np.dot$ は行列の掛け算です。２つの中間項は加算され、tanh により新たな状態ベクトルに押しつぶされます。数学の表記に慣れているなら、隠れ状態の更新は以下のように記述可能です。$h_t = \tanh ( W_{hh} h_{t-1} + W_{xh} x_t )$ 、ここで tanh は要素ごとに適用されます。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Christopher Olah氏のブログ記事 http://colah.github.io/posts/2014-07-Conv-Nets-Modular/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 序論 ここ数年、ディープ・ニューラルネットワークは、コンピュータビジョン、音声認識などのさまざまなパターン認識の問題において、飛躍的な成果を達成しています。これらの成果に必須な要素の一つは、たたみ込みニューラルネットワークと呼ばれる特殊なニューラルネットワークでした。 たたみ込みニューラルネットワークは、基本的には、同

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

TensorFlowのチュートリアル（MNIST For ML Beginners） https://www.tensorflow.org/versions/master/tutorials/mnist/beginners の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルは、機械学習と TensorFlow に不慣れな読者を対象とします。MNIST が何であるか、ソフトマックス（多項ロジスティック）回帰が何であるかを知っている場合は、よりテンポの速いチュートリアルを好むかもしれません。チュートリアルを開始する前にTensorFlow をインストールしてください。 プログラミングを学ぶとき、最初に「Hello World.」をプリントするという伝統があります。 プログラミングには Hello World があるように、機械学習には MNIST があります。 M

TensorFlow のチュートリアル（Convolutional Neural Networks） http://www.tensorflow.org/tutorials/deep_cnn/index.html#convolutional-neural-networks の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 注：このチュートリアルは TensorFlow の上級ユーザーを対象としており、機械学習の専門知識と経験を前提としています。 ##概説 CIFAR-10 分類は、機械学習における一般的なベンチマーク問題です。問題は、RGB 32×32 ピクセルの画像を10カテゴリーに分類するものです：飛行機、自動車、鳥、猫、鹿、犬、カエル、馬、船、およびトラック 詳細については CIFAR-10ページ と Alex Krizhevsky による技術レポートを参照してください。

var React = require('react/addons'); var UploadFileActionCreator = require('../actions/upload_file_action_creator'); var FileUploader = React.createClass({ getInitialState: function() { return { dragging: false }; }, uploadFiles: function(files) { var formData = new FormData(); for (var i = 0, f; f = files[i]; ++i) { formData.append('file', f); UploadFileActionCreator.upload(formData); } }, handle

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Christopher Olah氏のブログ記事 http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 #ニューラルネットワーク、多様体、トポロジー 近年、深層ニューラルネットワークには多くの興奮と関心が寄せられています。コンピュータビジョンなどの分野でブレークスルーとなる成果を達成したためです。1 しかし、それにはいくつかの懸念が残ります。そのひとつは、ニューラルネットワークが実際に 何を やっているかを理解す

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TensorFlowのチュートリアル（Vector Representations of Words） https://www.tensorflow.org/versions/master/tutorials/word2vec/index.html の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルでは、Mikolov et al. の word2vec モデルを見ていきます。このモデルは、「単語埋め込み」と呼ばれる単語のベクトル表現の学習に使用されます。 ##ハイライト このチュートリアルは、 Tenso

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

input_data.py ファイルの、 maybe_download() 関数は、これらのファイルが訓練のためのローカル・データ・フォルダにダウンロードされていることを保証します。 フォルダ名は fully_connected_feed.py ファイルの先頭にフラグ変数で指定されており、必要に応じて変更することができます。 ###解凍とリシェイプ ファイル自体は、標準的な画像形式ではなく、 input_data.py で extract_images() と extract_labels() 関数により手動で（ウェブサイトの指示に従い）解凍されます。 画像データは、 [画像インデックス, ピクセル・インデックス] の2Dテンソルに抽出されます。ここで、各要素はインデックスが示す画像内のピクセルの輝度の値であり、 [0, 255] から [-0.5, 0.5] に再スケールされています。「

TensorFlow のチュートリアル（Image Recognition） https://www.tensorflow.org/versions/master/tutorials/image_recognition の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 我々の脳は視覚を簡単に作るように思えます。人は、ライオンとジャガーを見分け、サインを読み取り、人間の顔を認識することに努力を必要としません。しかし、実際には、これらはコンピュータで解決することが難しい問題です。それが簡単に思えるのは、ただ、我々の脳が、画像を理解することに非常に優れているからです。 ここ数年、機械学習の分野では、これらの困難な問題に対処することに驚異的な進歩を遂げています。特に、深い畳み込みニューラルネットワークと呼ばれる種類のモデルが、難しい視覚認識タスクにおいて、そこそこのパフォーマンス、ある

TensorFlowのチュートリアル（Mandelbrot Set） https://www.tensorflow.org/versions/master/tutorials/mandelbrot/index.html#mandelbrot-set の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 マンデルブロ集合の可視化は、機械学習ではありませんが、一般的な数学のためにTensorFlowを使用する方法の楽しい例です。これは実際には視覚化のかなり単純な実装ですが、要点を押さえています。 （後に、もっと本当に美しい画像を生成するために、以下より精巧な実装を提供することになるかもしれません。） 注：このチュートリアルは、本来 IPython notebook のために準備しました。 ##基本設定 始めにいくつかの import が必要です。 # Import libraries

TensorFlowのチュートリアル（Partial Differential Equations） https://www.tensorflow.org/versions/master/tutorials/pdes/index.html#partial-differential-equations の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 TensorFlowは機械学習のためだけのものではありません。ここでは、TensorFlowを使用して偏微分方程式の挙動をシミュレートする（やや単調な）例を示します。正方形の池の表面にいくつかの雨滴が落ちる様子をシミュレートします。 注：このチュートリアルは、本来 IPython notebook のために準備しました。 ##基本設定 いくつかの import が必要です。 #Import libraries for simulat

##データのダウンロードと準備 このチュートリアルに必要なデータは、Tomas Mikolov の Web ページの PTB データセットの data/ ディレクトリにあります： http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz データセットはすでに前処理され、文末マーカーと、レアな単語のための特殊記号（<unk>）を含む、全部で10000語の異なる単語が含まれています。ニューラルネットワークでの処理を容易にするため、reader.py でそれらの単語すべてを、一意の整数の識別子に変換します。 ##モデル ###LSTM モデルの中心部は LSTM セルで構成されます。LSTM セルは、一度に１つの単語を処理し、文のありうる継続の確率を計算します。ネットワークのメモリ状態をゼロ・ベクトルで初期化し、各単語を読み込んで、メ

TensorFlowのチュートリアル（Deep MNIST for Experts） http://www.tensorflow.org/tutorials/mnist/pros/index.html#deep-mnist-for-experts の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 TensorFlowは大規模な数値計算を行うための強力なライブラリです。TensorFlowが優れているタスクの１つは、ディープ・ニューラルネットワークを実装し、訓練することです。このチュートリアルでは、深い畳み込みMNIST分類器を構築しながら、TensorFlowモデルの基本的なビルディング・ブロックを学びます。 このチュートリアルは、ニューラルネットワークとMNISTデータセットに精通していることを前提とします。それらのバックグラウンドを持っていない場合は、初心者のためのチュート

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

日本語は漢字の数が多いので、単語単位ではなく文字単位でベクトル表現しても意味のある結果が得られるのでは？ということで、char2vecを作ってみました。 オリジナルのword2vecはこちら https://code.google.com/p/word2vec/ ウィキペディアで学習した結果でうまくいったものを載せます。 ■文字の類似性（distance) Character: 私 Position in vocabulary: 860 Character Cosine distance ------------------------------------------------------------------------ 僕 0.546389 俺 0.474454 噂 0.473720 ち 0.462748 独 0.451800 孫 0.448622 昔 0.444323 誰 0

RabbitMQのチュートリアル１ https://www.rabbitmq.com/tutorials/tutorial-one-python.html の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 前提条件 このチュートリアルでは、RabbitMQのがインストールされ、ローカルホストの標準のポート（5672）上で実行されている前提とします。別のホスト、ポート、または資格情報を使用する場合には、接続設定の調整が必要です。 問題が発生した場合 このチュートリアルを通して問題が発生した場合、メーリングリストを通して私たちに連絡することができます。 はじめに RabbitMQは、メッセージ·ブローカーです。主なアイデアは非常に単純です：メッセージを受け付け、そして送り届けます。それは郵便局と考えることができます：あなたはポストに手紙を出すとき、郵便配達員が最終的には受取人に配達