わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
stacked generalization - puyokwの日記
[概要] 最近のkaggle のコンペのwinning solution で、stacked generalization がよく使われています。これの元になった論文は、1992 年のWolpert さんによるものです。 triskelion さんのブログKaggle Ensembling Guide | MLWave の中でもこの手法についての説明があります。 様々な学習器を上手く組み合わせて、より精度の良いモデルを作ろうというのが基本的な考え方です。具体的には次の図のような感じです。 level 0 は、元となるデータです。またこの場合における各学習器はgeneralizer と呼ばれています。level 0 のデータにgeneralizer を適用して生成されたデータがlevel 1 のデータとなります。 その後も、同様に名づけられています。 [過去のコンペ] まずは、多層パーセプト
プリキュアで学ぶ劣モジュラ関数 - むしゃくしゃしてやった，今は反省している日記
Machine Learning Advent Calendar 2015 1日目の企画です． 機械学習・人工知能系の国際会議（ICML, NIPS, AAAIなど）のチュートリアルや論文を眺めたことのある人なら，Submodular Function（劣モジュラ関数）という単語に見覚えがあるかもしれません．実際，ICML 2013，AAAI 2015や今年のIBISでも劣モジュラ関数のチュートリアル講演がなされています．今回は，劣モジュラ関数についてプリキュアで解説したいと思います． 劣モジュラ関数とは 劣モジュラ関数は集合関数（ある集合の部分集合を引数に取り，実数値を返す関数）の一種です．具体的には以下の定義を満たす関数です． $f: 2^E \to \mathbb{R}$ が劣モジュラ関数 $\iff$ 全ての$X \subseteq Y$ と $i \not\in Y$ に対して
Deep Learningの教材 - こんな夢を見た
Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記) ときどき追記/編集していきます。 (以下、一部敬称略) Bengio オンライン本 Yoshua Bengio, Ian Goodfellow and Aaron Courville http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html 現在Web上で閲覧可能。 いつか出版される。終盤はまだ執筆中。 これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。 Nielsen オン
openSMILEを使ってみる
論文を調べていたらinterspeech2009で感情認識のChallengeが行われていた。 そこで、使われているのがopenSMILEという特徴量抽出用のプログラム。 いろいろな音声認識、音楽認識、などなどで用いられる特徴量ががっつり計算できる上にWEKA用のarffでも書き出せるようにしているらしい。 というか、2009年でも一つの音声ファイルに対して384次元の特徴ベクトルを計算してくれる。 2010年用だと1000超えてたり、なんかすごいことになってる気もする。 ちなみに、binで落としてもlinux/windows両方の実行ファイルが入ってるのでそちらが楽ではある。 SSE対応や64bit対応もしてるし。 でも、やっぱりソースからコンパイルしてみたい。 コンパイルはbookを見るとスクリプト一発だぜーと書いてあるような気がしたのだが、よく見たら細かい手順が書いてあった。 ダウン
Memory Networks - こんな夢を見た
Memory Networks Jason Weston, Sumit Chopra, Antoine Bordes, 2015, ICLR Facebook - The bAbI project 記憶装置を持ったようなQA向けのフレームワーク。 名前から誤解しがちだが、Neural NetworkはあくまでMemory Network内の1つのモジュールであるだけで、話の焦点自体はNNではない。また、NNを使わずともMemory Networksは実現できる（たぶん精度負けるからやられないだろうけど）。 本論文ではNNを利用したモデルを例に説明。 追記(15/6/1): Stanfordの講義スライド -Memory Networks編-。 追記(16/6/1): Stanfordの講義スライド更新。shibataさんコメントありがとうございます。 Memory Networksの要素は
Seven neurons memorizing sequences of alphabetical images via spike-timing dependent plasticity - Scientific Reports
Thank you for visiting nature.com. You are using a browser version with limited support for CSS. To obtain the best experience, we recommend you use a more up to date browser (or turn off compatibility mode in Internet Explorer). In the meantime, to ensure continued support, we are displaying the site without styles and JavaScript.
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
画風を変換するアルゴリズム - Preferred Networks Research & Development
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
ICML2015読み会 (2015/08/20 18:00〜)
お知らせ 【重要なお知らせ】iOSアプリの運用および提供を2024年6月3日(月)を以て終了いたします。詳細は お知らせをご覧ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。
Awesome-deep-vision
Awesome-deep-vision : A curated list of deep learning resources for computer vision View on GitHub Awesome-deep-vision A curated list of deep learning resources for computer vision Download this project as a .zip file Download this project as a tar.gz file Awesome Deep Vision A curated list of deep learning resources for computer vision, inspired by awesome-php and awesome-computer-vision. Mainta
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
Character-Aware Neural Language Models
We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) and a highway network over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM). On the English Penn Treebank the model is on par with the existing
LSA2013Regression - HlpLab
2013 LSA Summer Institute class on ''Mixed effect regression'' The slides provided below can be used in teaching with proper acknowledgment of the source. If you need any of the source code, let me know. All slides were created with latex and knitr in RStudio, so that the code shown is also the code used to generate the content of the slides. The R scripts extracted from .Rnw files are provided al
Graham Neubig's Teaching
Classes Spring 2024: Advanced NLP (CS11-711 @ CMU) Fall 2022: Advanced NLP (CS11-711 @ CMU) Spring 2022: Multilingual NLP (CS11-737 @ CMU) Fall 2021: Advanced NLP (CS11-711 @ CMU) Spring 2021: Neural Networks for NLP (CS11-747 @ CMU) Fall 2020: Multilingual NLP (CS11-737 @ CMU) Spring 2020: Neural Networks for NLP (CS11-747 @ CMU) Fall 2019: Machine Translation and Sequence-to-sequence Models (CS1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
0-1.pdf
A Neural Conversational Model
Nemo4d - Link Alternatif Nemo4d
Chainerの使い方と自然言語処理への応用
Representation Learning Using Multi-Task Deep Neural Networks
for Semantic Classification and Information Retrieval