『ゼロから作るDeep Learning ❷』公開レビューのお知らせ
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編の公開レビューを行います。 レビュー期間は2月28日（水）から4月13日（金）までの1ヶ月半です。 レビューはDropboxのコメント機能を利用して行います。 Dropboxアカウントをお持ちの方はどなたでも参加可能です。 https://www.dropbox.com/sh/ev6a40fbagw2qtz/AABF2zxkvo12H7-b25eYxsBKa?dl=0 いただいた指摘内容は、著者と出版社で相談のうえ取捨選択して原稿へ反映させていただきます。 レビューに貢献していただいた方のお名前（あるいはアカウント名）を、本書の「謝辞」の欄に記載させていただきます。もちろん、記載の有無はレビューアの意思に従います。 なお『ゼロから作るDeep Learning ❷』は、全国の有名書店さんやA
強化学習で暗号通貨を取引する論文の日本語訳 – とのログ
(注：この記事はA Deep Reinforcement Learning Framework for the Finantial Portofolio Management ProblemをGoogle翻訳にかけて雑に修正したものです。誤訳や数式のミスが多数あり、図表や一部の数式は載せていませんのでリンク先の元論文を参照しながら読んでください。) 概要 金融ポートフォリオ管理は、ファンドをさまざまな金融商品に定期的に再分配するプロセスです。本稿では、ポートフォリオ管理の問題に対する深層機械学習のソリューションを提供する、金融モデルのない強化学習フレームワークを紹介します。このフレームワークは、EQE(Ensemble Independent Evaluators)トポロジ、PVM(Portfolio-Vector Memory)、OSBL(Online Stochastic Batch
Dueling Network Architectures for Deep Reinforcement Learning
In recent years there have been many successes of using deep representations in reinforcement learning. Still, many of these applications use conventional architectures, such as convolutional networks, LSTMs, or auto-encoders. In this paper, we present a new neural network architecture for model-free reinforcement learning. Our dueling network represents two separate estimators: one for the state
AIで株をやる！～株の売り買いを深層強化学習で予想 - Speaker Deck
You do not have permission to view this deck.
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
Neural networks and deep learning (日本語訳)
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
Kaggle Facial Keypoints DetectionをKerasで実装する
KaggleのチュートリアルにもなっているDaniel NouriさんのUsing convolutional neural nets to detect facial keypoints tutorial という記事の流れに沿って、Facial Keypoints DetectionをKerasで実装していきます。単純なモデルから徐々に複雑にしながら解説していきます。多少の機械学習の知識があることを前提にしますが、なるべく分かりやすく解説していきたいと思います。間違い・質問・提案などあれば遠慮なく連絡してください。 KerasはPythonで書くことができるTheanoとTensorFlowベースのライブラリです。直感的に書くことができる人気急上昇中のライブラリです。2015年3月に初公開され、2016年4月にKeras 1.0が公開されました。 Danielさんの記事ではLasagne
深層強化学習の動向 / survey of deep reinforcement learning
全脳アーキテクチャ若手の会第28回勉強会 Keywords: DQN, 強化学習, Episodic Control, Curiosity-driven Exploration
深層学習を超えた手法とは何か : 思考のカケラ
最近、深層学習の精度を超えた手法が発表されています。 今回は、昨日（6月17日）ニュースになったDeepmindによるPredictron（自動計画＋強化学習）も含めて、紹介します。
TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 - Qiita
前回までRNN(LSTM)や他の識別器で為替の予測を行ってきましたが、今回はCNNで予測をしてみたいと思います。 第１回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる 第２回 ディープじゃない機械学習で為替(FX)の予測をしてみる データの準備 前回まで終値の差分を学習データとしていましたが、今回は終値そのものを学習データにしてみます。 また、今回はUSDJPYの１時間足、2008年1月1日〜2017年3月10日を利用し、前半95%を学習、後半5%をテスト（バリデーション）としました。 CNNは画像認識で高い精度を発揮していますが、画像以外でも応用することは可能です。例えば終値が以下のようなデータがあったとします。 これを画像に変換します。 このように１次元の画像と見なすことができます。 色が複数チャネルあるように見えますが実際はグレースケールです。カラーマッ
(PDF) Artificial neural networks approach to the forecast of stock market price movements
In this work we present an Artificial Neural Network (ANN) approach to predict stock market indices. In particular, we focus our attention on their trend movement up or down. We provide results of experiments exploiting different Neural Networks architectures, namely the Multi-layer Perceptron (MLP), the Convolutional Neural Networks (CNN), and the Long Short-Term Memory (LSTM) recurrent neural ne
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(後編) | POSTD
前編はこちら： ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) 逆畳み込みネットワーク(DN) は、インバース・グラフィックス・ネットワーク（IGN）とも呼ばれていますが、畳み込みネットワークを逆転させたものになります。例えばネットワークに”猫”という言葉を入力すれば、生成した猫らしき画像と本物の猫の写真を比較しながら猫の画像を作成するよう訓練するようなイメージです。普通のCNNと同様にDNNをFFNNに組み合わせることができますが、新しい略語が見つかる時に線が描かれるところが特色です。深層逆畳み込みニューラルネットワークとでも呼べそうですが、FFNNの前後にDNNをつなげると、新しい名前をつけるにふさわしい別のアーキテクチャのネットワークができると主張できます。実際にはほとんどのアプリケーションにおいて、ネットワークにテキストに似たものが
AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する - 午睡二時四十分
動機とやったことの概要 AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する from mizugokoro スポットインスタンスで学習をして、無駄なくインスタンスを止めたい Step Functionsへの入力を変えるだけで様々な条件での学習を実行させたい 機械学習のコード自体にこのStep Functionsへの依存性は持たせなくて良い方針で作ったので、ディープラーニング以外のバッチ処理でも同じように使えるはず 詳細 Lambdaに付与する権限 たぶん以下くらいの権限がLambda実行時に必要。 AWSLambdaAMIExecutionRole AmazonS3FullAccess AmazonEC2SpotFleetRole AWSLambdaBasicExecutionRole AmazonSNSFullAccess EC2ReadOnly (
見たら瞬時に理解すべき数式 - HELLO CYBERNETICS
機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問題です。 教科書を根気強く理解できるようにするのもいいですが、予めどのような表現があるのかを知っていれば、もっと楽に読み進めることができるはずです。そのための言わば事前に知っておくと言い数式たちを載せておきます。 行列の行と列の数 計算の法則 特に頻出する形式 和の計算と行列表現 内積 行列計算 出現場面 固有値と固有ベクトル 固有ベクトルは、ほとんど変換を受けないベクトル 固有値とは、固有ベクトルがどれだけ定数倍されたかを表す 出現場面 勾配 勾配はスカラー関数の各成分の傾き 勾配はスカラー関数の等高線の法線ベクトル 出現場面 終わりに 行列の行と列の
DQNをKerasとTensorFlowとOpenAI Gymで実装する
はじめに 少し時代遅れかもしれませんが、強化学習の手法のひとつであるDQNをDeepMindの論文Mnih et al., 2015, Human-level control through deep reinforcement learningを参考にしながら、KerasとTensorFlowとOpenAI Gymを使って実装します。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 すでにいくつか良記事が出ているので紹介したいと思います。合わせて読むと理解の助けになると思うので、是非参考にしてみてください。 DQNの生い立ち ＋ Deep Q-NetworkをChainerで書いた DQNが生まれた背景について説明してくれています。Chainerでの実装もあるそうです。 ゼロからDeepまで学ぶ強化学習 タイトルの通り、ゼロからDeepま
Deep Learning環境はKeras + Docker + Jupyter Notebook + GPUがいいカンジ - もょもとの技術ノート
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門～畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
機械学習を学ぶ上で抑えておきたい数学 - HELLO CYBERNETICS
機械学習を勉強する際にぶつかる最大の壁は数学です。 機械学習に必要な数学をリストアップし、いつでも参照できるようにまとめておきたいと思います。 数学の必要性と手順 数学は世界共通の言語 機械学習をやる上で厳密な数学は必要なし レベル別、必要な数学 機械学習の処理が具体的にどんな計算をしているのかが分かる 機械学習アルゴリズムの導出は追えなくとも、その手法の狙いが分かる 機械学習のアルゴリズムの導出を追い、アルゴリズムの理屈を理解する 行列の計算公式をまとめてあるpdf 数学の本に関して 数学の必要性と手順 数学は世界共通の言語 冒頭で述べた通り、機械学習で何をやっているのか分からない！となるのは大抵数学がわからないからです。もちろん数学が分かっていても、機械学習でわからないことは出てきますが、ちょっと数学が分かってさえいれば殆どの手法が見通しよく理解できます。それは非常に単純な理由で、数学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[cond-mat/0304469] Using Recurrent Neural Networks To Forecasting of Forex
Deep Learning
