Deep Learningの教材 - こんな夢を見た
Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記) ときどき追記/編集していきます。 (以下、一部敬称略) Bengio オンライン本 Yoshua Bengio, Ian Goodfellow and Aaron Courville http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html 現在Web上で閲覧可能。 いつか出版される。終盤はまだ執筆中。 これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。 Nielsen オン
http://www2.nict.go.jp/univ-com/multi_trans/member/t_watana/papers/smt-tutorial.pdf
統計的機械翻訳ことはじめ 渡辺 太郎 taro.watanabe@atr.jp ATR 音声言語コミュニケーション研究所 言語処理学会チュートリアル – p. 1/63 目的 統計的機械翻訳についてのチュートリアル 次のような人を対象: 「統計的機械翻訳」を聞いたことがある。あるいは、 関連する論文を読んだ (見た) ことがある。 IBM Model 3 まではたどりつけた。 etc. モデルの構成、確率値の学習手法 デコーディング 最近の研究、および今後の課題 言語処理学会チュートリアル – p. 2/63 一通目の手紙 Warren Weaver to Nobert Wiener (March 4, 1947) When I look at an article in Russian, I say; “This is really written in English, but it
Memory Networks - こんな夢を見た
Memory Networks Jason Weston, Sumit Chopra, Antoine Bordes, 2015, ICLR Facebook - The bAbI project 記憶装置を持ったようなQA向けのフレームワーク。 名前から誤解しがちだが、Neural NetworkはあくまでMemory Network内の1つのモジュールであるだけで、話の焦点自体はNNではない。また、NNを使わずともMemory Networksは実現できる（たぶん精度負けるからやられないだろうけど）。 本論文ではNNを利用したモデルを例に説明。 追記(15/6/1): Stanfordの講義スライド -Memory Networks編-。 追記(16/6/1): Stanfordの講義スライド更新。shibataさんコメントありがとうございます。 Memory Networksの要素は
Facebookの人工知能アルゴリズム「memory networks」について調べてみた
FaceBook のAIチームが研究の発表論文である "Memory networks"とその拡張である"Towards AI-complete question answering: A set of prerequisite toy tasks."を簡単に紹介します。 [1] Weston, J., Chopra, S., and Bordes, A. Memory networks. In International Conference on Learning Representations (ICLR), 2015a. [2] Weston, J., Bordes, A., Chopra, S., and Mikolov, T. Towards AI-complete question answering: A set of prerequisite toy tasks. arX
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
ACL2015読み会@すずかけ台
概要 内容: ACL-IJCNLP 2015で発表された論文を読む (+ BBQ) 場所: 東京工業大学すずかけ台キャンパスR2大会議室(6階) 日時: 2015年8月24日(月) 10:00-18:00 (+ BBQ: 18:00-) 参加者 笹野、菊池、林、上垣外、渡邉、石垣、馬緤、瀧本、菅原、小町(首都大)、梶原(首都大)、西川(東工大)、横野(NII)、古宮(茨城大)、橋本(東大)、江里口(東大)、佐藤(名工大)、田中(お茶大) [=発表者:18名] 高村、田中、榊原、山崎、マリア、目黒、長谷川、安部(お茶大)、樺山(お茶大)、熊谷(お茶大)、濱園(お茶大)、亀甲(東大)、中須賀(東大)、村上(東大) [=聴講者:14名] プログラム 10:00-10:05: Opening [pdf] 10:05-11:05: Session 1: Linguistics Unsupervise
「知識」のDeep Learning
1. The document discusses knowledge representation and deep learning techniques for knowledge graphs, including embedding models like TransE, TransH, and neural network models. 2. It provides an overview of methods for tasks like link prediction, question answering, and language modeling using recurrent neural networks and memory networks. 3. The document references several papers on knowledge gra
集合とかベクトルの類似度の計算のメモ - 唯物是真 @Scaled_Wurm
Pythonで実装する類似度計算 - Screaming Loud #1283. 共起性の計算法 ↑この辺りの記事を見て、集合とかベクトルの類似度の計算の記事を下書きのまま放置していたことを思い出したので書き上げた。 類似度の計算のコードを書いたのでそれを載せるだけにしようかと思ったのですが、知っている人にしか伝わりそうにないので自然言語処理でよく使う話の概要だけでも書いときます。 導入 自然言語処理の分野では単語の意味を比較するときに、ある単語の周り(文脈)に出てきた単語のベクトル(文脈ベクトル)の類似度を計算することがある。 これは「ある単語の意味はその周囲に出現する単語によって特徴づけられている」という仮説に基づいていて、文脈ベクトルが似ていれば似たような意味、似たような状況で使われる単語が多いということが言えるからである。 Distributional semantics - Wi
論文紹介 “Discriminative Learning with Natural Annotations: Word Segmentation as a Case Study” (ACL 2013) - 唯物是真 @Scaled_Wurm
"Discriminative Learning with Natural Annotations: Word Segmentation as a Case Study" (pdf) 研究室で論文紹介したので以下に資料を貼っておきます。 図表は論文中から引用しています 何故か研究室での論文紹介は、資料が英語で口頭説明が日本語なので、以下では日本語の説明を加えました。 英語が間違っている部分があると思いますが、コメントで指摘なりスルーするなりしてください。 スライドはこうした方がいいとかもあったらぜひ。 論文紹介 概要 中国語の単語分割がこの論文のタスク。 中国語や日本語などの言語では、単語の区切りに空白を入れていないため、文字列を単語に分解する処理が必要になる。 これらのタスクでは人手による教師ありデータが必要になることが多いが、そのようなデータの構築や更新には大きなコストがかかる この研
単語の分散表現と構成性の計算モデルの発展
2. 分散表現 (Hinton+ 1986) • 局所表現（local representation） • 各概念に１つの計算要素 (記号, ニューロン, 次元) を割り当て • 分散表現（distributed representation） • 各概念は複数の計算要素で表現される • 各計算要素は複数の概念の表現に関与する 2015-05-31 OS-1 (2)意味と理解のコンピューティング 2 バス 萌えバス … … #2948 … … #19023840334 バス 萌えバス萌えトラック ニューロンの 興奮パターン ≒ベクトル表現 http://ja.wikipedia.org/wiki/富士急山梨バス http://saori223.web.fc2.com/ 3. 構成性（Frege 1892） • Partee (1984) • The meaning of an expres
PRESENTATION NAME
格解析の意義 林部 祐太 奈良先端科学技術大学院大学(NAIST) 自然言語処理学講座 http://hayashibe.jp/ 2010/8/19@KDDI Laboratories 自己紹介 • 1987/12/10 大阪府堺市生まれ • 大阪府立三国丘高等学校 – 自転車で15分 – ブラスバンド部パーカッション • 大阪大学 基礎工学部 情報科学科 – 電車で1時間半 • 現在，NAISTの松本裕治研 M2 – 徒歩5分 • 来春，博士後期課程に進学予定 • 「意味」をどのように計算機で扱うかに興味をもっ ています 2010/8/19 @KDDI Laboratory 格解析の意義 3/33 アウトライン • 自然言語解析の基盤技術 – 構文解析の問題点 • 格解析 – 格文法 – 応用 – 課題 • 解析技術の今後 2010/8/19 @KDDI Laboratory 格解析の
深層学習時代の自然言語処理
2. ⾃自⼰己紹介 海野 裕也 l （株）プリファードインフラストラクチャー l ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイ ニングなどの研究開発 l 画像解析とかもやります l Jubatusの開発など NLP若若⼿手の会共同委員⻑⾧長（2014-） 2 3. 宣伝：NLP若若⼿手の会（YANS） l YANSシンポジウム（9⽉月） l 若若⼿手研究者（40歳未満くらい）の若若⼿手研究者が、⾃自 ⾝身の研究を進めるための集まり l 学⽣生やエンジニアの参加も歓迎 l 今年年も合宿をやる予定です l スポンサーも募集する予定です l YANS懇（3⽉月） l ⾔言語処理理学会全国⼤大会期間中に懇親会をします l 単なる飲み会です J 3
自然言語処理のための機械学習入門１章
2. 自己紹介 ステータス • @piroyoung a,k,a みずかみひろき • 数学(ゲーム理論） → SPA企業の総合職（物流・小売） → データナントカ（コンサル）Now! • 最近，渋谷が気になる スキル・興味・近況 • R, SQL, Python, Ruby, Jags/Stan • データマイニング屋 • NLPについては何も知らない • Scala修行中 • 新しいものが好き • Yo!! 始めました → PIROYOUNG • LINEも始めました→ piroyoung 2 5. • 1.2 最適化問題 • 1.2.1 凸集合と凸関数 • 1.2.2 凸計画問題 今日やること • 1.2.3 等式制約付き凸計画問題 • 1.2.4 不等式制約付き凸計画問題 • 1.3 確率 • 1.3.1 期待値 平均 分散 • 1.3.2 結合確率と条件付き確率 • 1.3.3 独
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.phontron.com/slides/alagin2014-align.pdf
MT/NLP Standard Papers - AHC Wiki
情報抽出タスクで流行りの distant supervision について調べてみた - あらびき日記
)，Web ページへのインリンク情報 (<InLink>) および，Web ページか らのアウトリンク情報 (<OutLink>) などのメタ情報を含んでいる．例えば，図 6.3 に示した ID 300 の Web ページを標準フォーマット�
http://www.lai.kyutech.ac.jp/sig-slud/SLUD63-minami-POMDP-tutorial.pdf
Neural Turing Machines FAQ
Amazon.co.jp： 自然言語処理の基本と技術: 奥野 陽, グラム・ニュービッグ, 萩原 正人, 小町 守, イノウ: 本
