GitHub にある DingKe/qrnn/ の サンプルコード imbd_qrnn.py https://github.com/DingKe/qrnn/ は、 from keras.datasets import imdb で、kerasの組み込みデータセット imdb を 読み込んで いる。 このデータは、以下 の 公式解説 に よる と、 Keras Documentation データセット 「IMDB映画レビュー感情分類」 IMDB映画レビュー感情分類 感情(肯定/否定)のラベル付けをされた、25,000のIMDB映画レビューのデータセット。レビューは前処理済みで、各レビューは単語のインデックス(整数値)のシーケンスとしてエンコードされている。便宜上、単語はデータセットにおいての出現頻度によってインデックスされている。そのため例えば、整数値"3"はデータの中で3番目に頻度が多い単
書きました https://t.co/m4YhZolDjD — mooopan (@mooopan) February 20, 2017 ということでChainerの強化学習版ChainerRLが公開されていました。 このところ手を広げすぎていて中々丁寧な仕事ができない中、 30分 x 2日でDouble DQNでライントレーサーできました。ライブラリ便利で助かる! 使用環境 Windows 10 - 64bit <諦めが悪い心の強さ…!> Python 3.6.0 |Anaconda 4.3.0 (64-bit) <プライドより実利!> ChainerRL 0.2 < Dependency緩くしてほしい> Chainer 1.19 <1.20でTheanoのお世話できてない!会社ではTheano動いたのに。>
はじめに Deep Learningをやろうと思ったらでかい計算資源が必要なのが当たり前なのだけど、手持ちのPCのスペックで十分とかそうそうありはしないので、EC2のGPUインスタンスをささっと立てて使うのも手だと思う。 FrameworkはKerasでバックエンドはTensorFlow GPUバージョン。それをpyenv仮想環境でセットアップする構成とした。先日TensorFlow 1.0がリリースされてtf.kerasが実装されたみたいだけどまだ試してないので普通にKeras使うことにする。 環境構築についてはこちらを参考にさせていただいた。 AWSのGPUインスタンスでTensorFlowを動かす インスタンスの作成 EC2 Instance: クイックスタートにある Ubuntu Server 16.04 LTS (HVM), SSD Volume Type Type : g2.2
オーソドックス な アプローチ(一般的手法) まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス(2016.10.5)「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 (データ量の多い)正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
はじめに 昨今,DNNs(Deep Neural Networks)の進歩が目覚ましくあらゆる分野で成功を収めています. 良く耳にするのは,画像分類や音声認識の分野ですが,対話システムも例外ではなくなりました. Pythonのライブラリ環境が充実しつつある今,DNNsを用いた対話システムの構築について簡単に紹介したいと思います. 対話システムのためのDNNsモデル 対話システムを構築するためのDNNsのモデルは大きく分けて2つあります. 大量の応答候補に対するランキング学習 -> 入力に対して応答候補文をそのまま選択 発話と応答のペアから,Encoder-Decoderモデルを学習.-> 入力に対して単語単位で応答発話生成 本記事では,後者のEncoder-Decoderモデルについて扱います. Chainerなどのライブラリが充実したおかげで,発話と応答のペアとなるデータさえあれば,誰で
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #------------------------------------------------------------------------------- # Use Chainer (http://chainer.org/) from R # with reticulate package (https://github.com/rstudio/reticulate) # # original code in Python: # https://github.com/pfnet/chainer/blob/master/examp
教育言語として Pythonは「同じインデントレベルの文は同じ塊」というルールを採用しており、見掛け上のPythonプログラムの最大の特徴となっています。 Python作者のGuido van Rossum氏(オランダ人でアムステルダム大学卒)はPythonを開発する以前に、オランダで教育向けの「ABC言語」の開発に関わっており、Python自体はRAD(迅速なアプリケーション開発)がメインで教育用を念頭に開発してはいなかったものの、ルーツとなったABC言語では文法に関してさまざまな研究が行われ、インデントを使うのが初心者にとってもっとも間違いにくいブロックの表現として採用していたのです。(Donald Knuth氏が推進していた。) Rubyist のための他言語探訪 【第 1 回】 Python Pythonがプログラミングの学習に向いているたった一つの理由 From ABC to P
初めに この記事はTorchの基本的な使い方の解説?をします。ちょっとした応用や便利ツールなどはこちら caffe,chainer,theanoとdeeplearningライブラリを使ってきて最近torchに乗り換えたのでtorchについてのチュートリアルをまとめます。 コードはこちらの公式チュートリアルの2_supervisedを参考にしました。 torchについて 日本ではdeeplearningのライブラリといえばcaffeに始まり、最近勢いのあるTensorflowや日本で開発がされているchainerなどが主流で、あまりtorchは使われていないように思えます。しかし、世界的にはtorchは主流のdeeplearningライブラリで、Facebookが使用していることでも有名です。画像処理における最新の手法の実装も多く、Fast R-CNNで使われているROIPoolingやse
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです。 文の分類(評判分析・トピック分類・質問タイプ分類) Convolutional Neural Networks for Sentence
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近「人工知能が~」というニュースが山のように出てきますが、その中にはだいぶ誇張された表現のものも少なくありません。 人工知能関連の技術に注目が集まるのは、研究資金の増加や案件の発生という面では良いことです。しかし、「仕事が奪われるぞ!」みたいな過度な不安を煽ったり、「人工知能だったら何でもできるんやろ?」といった過度な期待を煽ってしまうことで、実体とはかけ離れた議論や誤解を生んでしまうという面もあります。 本稿では、目についた中で大きな誇張があるニュースを取り上げるとともに、その実際のところはどうなのか?について紹介をしていきたいと思
このポストは Inside of Deep Learning あるいは深層学習は何を変えるのか から分割したものです。全体があまりに長くなってしまったので、改善手法についても別のページにしました。 DL(ディープラーニング)の性能を改善していくポイントを駆け足で見て行きましょう。 学習データの追加、改善 DLシステムの性能を上げるためにはためにはより沢山の学習データが必要と言われています。例えば下記の図は、顔のパーツやバスの認識について学習データを増やすほど性能が上がるとした論文のものです。 Do We Need More Training Data? 画像であれば左右、上下、および上下左右に反転させた画像を使ってどちらを向いていても正しく特徴を取れるようにしたり、あるいは少し拡大したりノイズを混ぜるなどしてデータを水増しする手法がよく使われます。ユニークなのは例えばCGを用いて画像を作成
通常は出力値を予測するだけですが、トレーニング中はこの予測結果をフィードバックします。入力データに対しての正解データ(教師データ)を用意してやり、損失関数という式を使って予測値が正解ととれだけ離れているかを計算します。 これを元に、現在のモデルをどのように修正すれば正解に近づく可能性が高いを計算します。これがオプティマイザです。損失値の勾配とオプティマイザによってネットワークがより強化され、この一連の流れがバックプロパゲーションです。 ネットワークはもともとはランダムの初期値を持っています。これが一度のバックプロパゲーションにより強化され、少しづつフォワードプロパゲーション、バックプロパゲーションを繰り返していく事でシステム内の初期値(パラメータ)が学習していきます。 モデル、伝達関数 モデル内の実際の計算を見てみましょう。簡便のため一つのレイヤーの局所的な計算を図解します。 x1からx4
( 調査中 ) INSとは? Wikipedia 「慣性航法装置」 慣性航法装置(かんせいこうほうそうち、英: Inertial Navigation System, INS)は、潜水艦、航空機やミサイルなどに搭載される装置で、外部から電波による支援を得ることなく、搭載するセンサ(慣性計測装置、英: Inertial Measurement Unit, IMU、Inertial Navigation Unit; INU, Inertial Guidance Unit; IGU, Inertial Reference Unit; IRUなども使用される)のみによって自らの位置や速度を算出する。 慣性誘導装置(英: Inertial Guidance System, IGS)、慣性基準装置(英: Inertial Reference System, IRS)などとも呼ばれる。 INS実現技術に
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 去年参加したNIPS Adversarial Training Workshopについて書きます。 Advent Calendarに投稿するはずだったのですが忘れていました...すみません。 動画が全て上がっているので詳しく知りたい人はそれを見るといいと思います。 https://www.facebook.com/groups/675606912596390/ あとHuszarのBlogとかにももっといいまとめが上がっているのでそれもおすすめです。またGANは曖昧な部分が多かったり理解が甘くて、とんちんかんなことを書いていたりかもしれま
田中TOMという名前で底辺Youtuberやってます。 機械学習について勉強して学んだことを動画でまとめていきます。 Random Forestで分類問題 Random Forest で分類問題 part1 決定木モデル 理論編 Random Forest で分類問題 part2 決定木モデル 実装編 Random Forest で分類問題 part3 Random Forest 理論編 Random Forest で分類問題 part4 Random Forest 実装編 Kerasで時系列データ予測 簡単にNN(ニューラルネットワーク)が構築できる Keras で時系列データの機械学習を行う。 Kerasで時系列データ予測 part1 環境構築 Kerasで時系列データ予測 part2 Keras Kerasで時系列データ予測 part3 再帰型ニューラルネットワーク Kerasで時系
WHY この記事を書こうと思った理由ですが下記の書籍を年末年始にやって勉強になったのですがPythonに慣れていないと詰まる部分もあり、環境構築に精神コストを削られてこの書籍を完了できない人が出てくるかなと思ったからです。 ゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装 WHAT 詰まると思った部分は図の可視化です。図の可視化にはmatplotlibを使用するのですが環境構築の際に罠があり、それにはまると解消するのに時間的なコストがかかるケースがあります。 そこで誰でも同じ環境を構築できるDockerの出番です。私はVagrantにdocker用の環境を構築してdockerを使用しているので完全に手元のパソコンとは独立した環境を実現しています。 これを実現するのに使用した技術は下記です。 Vagrant ansible docker ipyth
知っているライブラリを片っ端からpipで入れまくっちゃいます。pip万歳! 新しいライブラリ見つけたらどんどん追加します。 #pip本体のインストール $ sudo apt-get install python-pip #pipの使い方 なぜか僕の環境では$ sudo -H pip install pip ライブラリ名としないと上手く行かないんですが、 他のサイトなどでは$ pip install ライブラリ名と書いてあるので、以下はこっちで行きます。 僕と同じくsudo必要な人いないのかなぁ〜 #科学技術計算のライブラリ ライブラリ:numpy, scipy, pandas, matplotlib, scikit-image pip install numpy scipy pandas matplotlib scikit-image #機械学習 ライブラリ:chainer, tensor
( 事例調査 )トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、(深層)ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える人工知能深層学習DeepLearning情報幾何学InformationGeometry (深層)ニューラル・ネットワークモデル を 改良して、 局所最適解への陥落 を 防ぎ、 なるべく短い学習回数で、全体最適解 に 到達する より良い (Deep) neural networkモデル を 見い出す 上 で、 【 情報幾何学(微分幾何学)の 見地 】 (1)誤差逆伝播(BP)法 の パラメータ更新式 を Riemann空間で組成し、 (2)フィッシャー行列 で 表現される Riemann計量 を 用いる 方法 及び 【 位相幾何学 の 見地 】 (1)(Deep) neural network モデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く