LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
統計的学習手法よる人検出
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
GolangでDockerでドカドカするコンテストサーバを組んだ - Qiita
初めに この記事はGo Advent Calendar13日目の記事です。 コンテストサーバとは 競技プログラミング1のコンテストを開催するためのサーバです。 一般に、問題の公開、ユーザの提出コードを判定、その結果をもとにランキングの作成などの機能が求められます。 UIはWebだったり専用アプリケーションだったりしますが今回は使い勝手の良いWebを採用しました。 製作にあたって直面した課題 Web UI製作経験なし。 C++、CoffeeScript(Node.JS)、Go以外の言語をほぼ触ったことがない。 DataBaseに関しては知識のみ、実際に運用したことはない。 ユーザの提出コードを判定するために実行している際に使うサンドボックスの製作に必要なLinux関連の知識があまりない。 といったかなり致命的な問題が並んでいて厳しい状況でした。 最初はC++での製作を試みていましたがC++に
RCOアドテク部論文輪読会：「Factorization Machines」を紹介しました | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら ゆるふわ系エンジニアの林田です。 データ分析チームの論文輪読会で「Factorization Machines」を紹介しました。 Factorization Machinesは2010年Steffen Rendle氏によって提案されたモデルで、識別問題、回帰問題、ランキング問題など様々な問題に適用できる一般的なモデルです。複数のCTR予測コンテストで優勝チームが利用したモデルとして話題になりました。 論文に沿って、Factorization Machinesのモデル、計算量に関する考察、SVMとの比較、最先端の因子分解法との比較について議論しました。
活性化関数とソフトマックス関数を実装 - present
『ゼロから作る Deep Learning』を読んで C# で実装したみたくなった続き。 今度はニューラルネットワークで使う関数に挑戦してみた。 実装するのは活性化関数であるシグモイド関数、ReLU 関数。 そして出力層で使うソフトマックス関数。 あとおまけでステップ関数も。 ひとまず畳み込まないニューラルネットワークを作りたいので、 行列を扱う活性化関数として実装。 ソフトマックス関数は出力層で使うので、こいつだけはベクトルを扱う。 using MathNet.Numerics.LinearAlgebra; using System; using System.Linq; namespace NeuralNetworkSample { class Program { static void Main(string[] args) { var m = Matrix<double>.Buil
Go言語のWEBフレームワークRevelを使用してセキュアなAPIを作成 - Qiita
WHY 機械学習のモデルはできたけど、サービスインするには何らかの形でweb側から動作できる形にする必要があります。 Railsだと重すぎるし、Go言語使いたい。 そのようなモチベーションから私はGo言語でAPIを作成しました。 Go言語のWEBフレームワークは多々ありますが、今回紹介する記事はrevelを用いています。 コンテナとコードを公開しているのですぐに動作を確認することが可能にしています。 Docker: https://hub.docker.com/r/masayaresearch/go_api/ github: https://github.com/SnowMasaya/go_revel_jwt_mysql revelを採用した理由は下記です。 testのための機能が揃っている deployも簡単 必要なサンプルがある WHAT 何をすることを想定しているか - 簡単な認証
NIPS 2016参加報告 - Qiita
先週スペインのバルセロナで開催された機械学習のトップ会議NIPS 2016に参加してきました。論文はWebで公開されているので誰でも読むことができますが、口頭発表を聞いたりポスター発表のディスカッションに参加したり休憩時間中の会話などからも学びがあるため、最先端の研究を知るために参加する意義は失われていないように思います。 NIPSの参加者は指数的に増加していると言われており、今年は5000人（！）の参加者がいました。当然論文の査読も厳しく、採択率は20％前後と言われています。分野のトレンドとしてはディープラーニングのブームが続いていますが、認識系はかなり成熟してきたのでGANなどの生成系と強化学習や外部記憶との組み合わせに中心が移ってきているようです。特に強化学習は会議中にシミュレーション環境のOpen AI UniverseとDeepMind Labが公開され、熱気を感じました。 50
Jupyter Notebookの小ネタ (display, tqdm, SSHポート転送) - くじらにっき++
この記事は jupyter notebook Advent Calendar 2016 の12月13日の記事です。 qiita.com Jupyter Notebookを使う上で，この機能を知らない人を見つけたら教えてあげたくなるような小ネタをいくつか紹介します。 IPython.display.display Jupyter Notebook上でpandasのDataFrameを表示すると，HTMLのtable要素として見やすく表示してくれます。活用している方も多いかと思います。 df[df['f'] == 'C'] と df[df['f'] == 'T'] を表示したいのですが，Jupyter Notebookで表示されるのはそれぞれのセルで最後に評価されたものだけです。そのため，表示したいDataFrameごとにセルを分ける必要があります。 gist.github.com しかしなが
実況中継シリーズ Vue.jsで実現するMVVMパターン Fluxアーキテクチャとの距離 - Re.Ra.Ku アドベントカレンダー day 13 - Re.Ra.Ku tech blog
前説 丸山です。Re.Ra.Ku. アドベントカレンダー13日目の記事です。前日はiOSアプリのUIをコードで書いてみる話でした。明日はおそらくScalaの話になると思います。 さて、以前も話題にしましたが、builderscon2016が先日開催されました。チケットは3hでSOLD OUT。プラチナチケットと化した参加権ですが、発表する側ならば実質無料で参加し放題！これはいっそ申し訳ないレベルでは！？ というわけで、せっかく発表したのでその内容をなるべく多くの手段で共有したい。そう思い、今回も実況中継シリーズを弊社テックブログで行います。実況中継シリーズというのは、プレゼンをブログで再現するアレです。なお、実際のプレゼンは動画になってYoutubeにアップロードされております。builderscon公式サイトのセッション詳細ページからもご覧いただけますので、よろしければそちらも合わせてご
さあ、並列プログラミングをはじめよう - Qiita
この記事はJava Advent Calendar 2016の12日目です。 前日は、leak4mk0さんのデータベースを簡単にーJavaSEでもオブジェクト指向データベース（JPA） でした。 次は、tkxlabさんのJavaSEでもオブジェクト指向データベース（JPA）をとなります。 はじめに 「フリーランチの終焉」と言われマルチコアの時代に突入してはや数年。 Webアプリを作る事が多かったのも理由ですが、ほとんどシングルスレッド（サーブレッドとかでマルチスレッドを意識するケースはあるけど）で開発してた私にも、今年は並列プログラミングの波が押し寄せてきました。 そんなわけで今年のアドベントカレンダーは並列プログラミング入門に関してまとめてみます。 Java 8標準の並列API Javaは当初よりマルチスレッドプログラミングを喧伝してただけあって、それなりに並列プログラミングがやりやすい
Electron アプリをつくる時に便利なパッケージ - はやくプログラムになりたい
この記事は Electron アドベントカレンダー2016 の13日目の記事です． 本記事では，僕が Electron アプリをつくる上で便利だったり，ほしかったのでつくったりしたパッケージを7つほど紹介します． electron-about-window electron-dl electron-in-page-search electron-window-state menubar node-auto-launch electron-mocha electron-about-window electron-about-window は 'このアプリについて' ウィンドウを簡単にクロスプラットフォームにつくるためのパッケージです．下記のように関数を1つインポートして呼び出すだけで「このアプリについて」ウィンドウを生成することができます．（example） import openAbout
PythonでAIシミュレーションプラットフォームOpen AI Gym を利用して遊ぶ (DQN編) - Qiita
どうも、オリィ研究所(http://orylab.com/) の ryo_grid こと神林です。 今回はOpen AI Gymで遊んでみたので、それについて書いてみます。 Open AI Gym (https://gym.openai.com) とは AI開発者が自分のAIを動かすことのできるシミュレータを提供してくれる環境です。 Python向けにはライブラリを提供しています。 AI GymによりAI開発者やAI研究者はAIの学習ロジックの研究開発に専念でき、その可視化やシミュレーションを行う手間が省けます。また、同じシミュレーションを複数のユーザが競い合って解いているので、参加者全体でのアルゴリズムの性能向上が期待されます。 主なターゲットは強化学習によって構築されるAIです。Deep Q-Learning Network(DQN)を代表とする深層強化学習と呼ばれる手法が少し前から話
今年(2016)参考にさせてもらったChainerの論文実装、サンプルコード集 - studylog/北の雲
去年書いたサンプルコード集の2016年版です。 個人的な興味範囲のみ集めているので網羅的では無いとは思います。 基本的に上の方が新しいコードです。 QRNN(Quasi-Recurrent Neural Networks) 論文ではchainerを使って実験しており、普通のLSTMはもちろんcuDNNを使ったLSTMよりも高速らしい。 一番下にchainer実装コードが埋め込まれている。 New neural network building block allows faster and more accurate text understanding [1611.01576] Quasi-Recurrent Neural Networks Softmaxなどに要している時間を除き純粋にRNN部だけで比較すると相当速くなっているのがわかる。 このように実験でchainerが使われている研
[Python, Julia] Jupyter で 3D 表示 - Mayavi ライブラリ - Qiita
【メモ2019/12/24。2019年末になっても本記事に「イイね」や「ストック」して頂きありがとうございます。以下の内容に基本は変わりませんが、Python 3.x、Julia 1.x の時代ですので、最新状況を追っていただくようにお願いします。 】 Jupyter Advent calendar 2016 12日目の記事です。 Jupyter で 3Dグラフィックスを表示できます。Python の Mayavi ライブラリを使います。 Mayavi は、Python用の 3次元グラフィックス表示ライブラリです。科学技術分野の可視化を念頭に開発された vtk をグラフィックスエンジンとしています。デモを見て頂くと、どのような絵が描けるか分かるでしょう。-> デモ, MRI example お膳立て Mayaviライブラリの出力を Jupyter で表示するためには、以下の二つの条件が整っ
![[Python, Julia] Jupyter で 3D 表示 - Mayavi ライブラリ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b7da318209a76d12d5870d423b6b69c0413816d7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTJDJTIwSnVsaWElNUQlMjBKdXB5dGVyJTIwJUUzJTgxJUE3JTIwM0QlMjAlRTglQTElQTglRTclQTQlQkElMjAtJTIwTWF5YXZpJTIwJUUzJTgzJUE5JUUzJTgyJUE0JUUzJTgzJTk2JUUzJTgzJUE5JUUzJTgzJUFBJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0wMDMyZWY4NjMxMzQ3YTczNmFkN2VmOTk4N2M0NTU4YQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0ZW5mdTJ0ZWEmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWNkZDUwZjQ5ZDZkN2E2YzVkMDk0NmNkMTBiZTJjMjMz%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Df9706a2aee97de5d8a424c7b340330d3)
「ゼロから作るDeep Learning」の環境をDockerで作る - Qiita
僕はpythonも機械学習も全く知識が無かったのですが、ここ最近のニュースでも話題が多いですし、何か触りだけでも勉強できたらなと思っていたところにオライリーのゼロから作るDeep Learningがわかりやすいという話を聞いて買ってみました。 適度に数学的な部分も省かれてて、自分のような厳密な証明とかよりイメージを知りたいようなライトな感じの人にはとてもおもしろく読めました。また解説されていることがソースレベルで説明されているのが大変わかりやすかったです。 で、普段pythonとかをガリガリ書いている人はいいんだと思いますが、とりあえずやってみたいときに、pythonいれてnumpyいれて、matplotlibいれてやるのも（一回作ってしまえばいいですが）ちょっとメンドいですよね。 ならDockerで作ってしまおうと思ったのですが、この本ででくるmatplolibでグラフ描画（GUI）があ
2016年、サーバーサイドエンジニアがゼロからReact/Reduxを学習したときの方法を振り返る
こんにちは。スタジオ・アルカナのサーバーサイドエンジニアなっちゃん(@natsumican63)です。 この記事はReact Advent Calendar 2016の13日目の記事です。 それは2016年も後半へ差し掛かったある日のことでした… 上司「次の案件、この辺の技術使うから軽く勉強しておいてー」 つ React.js + Redux.js + redux-saga + Cordova + ES6 + Babel + OnsenUI + Gulp + Webpack ( ﾟдﾟ) (つд⊂)ｺﾞｼｺﾞｼ (；ﾟ Дﾟ) !?!? (; ﾟдﾟ)「…わ、わかりました」 ※「何でもやります！やらせてください！」が私の口癖なので、決して無茶振りしてくる弊社ではありませんよ！ほんとだよ！！ 斯くして2016年、サーバーサイドエンジニアがはじめてフロントエンドへの門戸を開くこととなった際の学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/akaneko3/items/8befac1cd5969aad2075