自然言語処理ってなに？課題は？ 研究者に聞く、エンジニアが学術論文を読み解くための技術 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
自然言語処理ってなに？課題は？ 研究者に聞く、エンジニアが学術論文を読み解くための技術 多くのサービスに実装される自然言語処理ですが、そもそも一体どのような技術なのでしょうか？東京工業大学で研究にあたる、西川 仁助教に自然言語処理の歴史と現在。そしてどのような課題があるかをうかがい、さらにエンジニアが学術論文を読み解き、役立つ情報を手にするための手法も聞きました。 技術に関する最新の情報を得るための手段は様々ですが、“学術論文を読む”とは、その有力な手段の一つでしょう。しかし、数多くある論文から、自分の目的とする情報をいかに探し出し、いかに読むのが効率的なのでしょうか。そして、日頃から論文にふれる機会の多い研究者の方はどのように論文から情報収集を読み解いているのでしょうか。 今回お話をうかがったのは、自然言語処理研究のフロントランナーとして、東京工業大学に所属し、自動要約の研究をされている
Teaching - CS 229
My twin brother Afshine and I created this set of illustrated Machine Learning cheatsheets covering the content of the CS 229 class, which I TA-ed in Fall 2018 at Stanford. They can (hopefully!) be useful to all future students of this course as well as to anyone else interested in Machine Learning. Cheatsheet • Loss function, gradient descent, likelihood • Linear models, Support Vector Machines,
LDA（Latent Dirichlet Allocation）について調べたので自分なりにまとめる - 隣のデスク覗く言語さん
はじめに 内容 文献調査 何ができるの？ だから〜…それができると何ができるの？ LDAの利点は？ LDAの欠点は？ LDAの評価基準 LDAどんなもんじゃい まとめ 今後 はじめに 普段はUnityのことばかりですが，分析系にも高い関心があるので，備忘録がてら記事にしてみました． トピックモデル分析の内，LDAについてまとめていこうと思います． 自分の意見や使ってみた印象も混じっているので悪しからず．引用元は明記しているはず…です． LDAは文書集合から，主たる話題を半自動的に推定することができるテキストマイニング手法です． 内容 文献調査 大元の文献はこちらです． http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf David M. Blei, Andrew Y. Ng, Michael I. Jordan, "Latent D
2016年のディープラーニング論文100選 - Qiita
これはFujitsu Advent Calendar 2016の11日目の記事です。 掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。 はじめに この記事では先月今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの）から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2017年のディープラーニング論文100選 DeepLearning研究 2016年のまとめ 2016年の深層学習を用いた画像認識モデル foobarNet: ディープラーニング関連の○○Netまとめ NIPS2016実装集 ディープラーニングにとっての2016年 20
DeepLearning研究 2016年のまとめ - Qiita
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
Deep Learning のトレンドについて喋ってきた
Convolutional Neural NetworksのトレンドについてCasualじゃない話をしてきました． 全脳アーキテクチャ若手の会カジュアルトーク 全脳アーキテクチャ若手の会カジュアルトーク というところでお話をしてきました． ちょっと層がわからなかったのですが，IT系のエンジニアの方が多かったみたいです． （学生は4人くらい…？しかもほぼ身内） 僕のスライドはSlide Shareの方にアップロードされています． しかも，映像もアップロードされていた… 発表後記 実際はConvolutional Neural Networks(CNN)系論文128本ノックにするつもりだったとはいえない空気でしたね… 個人的には画像生成やキャプション生成系の研究速度はとても速く進んでいると感じています． Visual Turing Test の話はもう少し掘り下げたかったですね． Deep M
機械学習アルゴリズムへの招待 | POSTD
機械学習の問題 については以前に紹介したので、次はどんなデータを収集し、どんな機械学習アルゴリズムを使うことができるのかを見ていきましょう。本投稿では、現在よく使用されている代表的なアルゴリズムを紹介します。代表的なアルゴリズムを知ることで、どんな技法が使えるかという全体的なイメージもきっとつかめてくるはずですよ。 アルゴリズムには多くの種類があります。難しいのは、技法にも分類があり拡張性があるため、規範的なアルゴリズムを構成するものが何なのか判別するのが難しいということですね。ここでは、実際の現場でも目にする機会の多いアルゴリズムを例にとって、それらを検討して分類する2つの方法をご紹介したいと思います。 まず1つ目は、学習のスタイルによってアルゴリズムを分ける方法。そして2つ目は、形態や機能の類似性によって（例えば似た動物をまとめるように）分ける方法です。どちらのアプローチも非常に実用的
EntityLinkingメモ - Negative/Positive Thinking
はじめに WSDM2014(WWW2013,YSS2013,SIGIR2013)のチュートリアルで「EntityLinking」といタスクが紹介されていたので、ちょっと調べてメモしておく。 次元圧縮！ Entity Linkingとは テキストに出てくるエンティティ(実体)を識別・決定するタスク 固有名詞抽出は「固有名詞を識別して取り出す」タスクなので、異なる 雑にいうと、KnowledgeBaseと呼ばれる(識別された)エンティティ集合からテキストにでてくるエンティティを決定すること KBにない新しい固有名詞を発見することも含まれたりする(「NIL」として取り扱う) 実際の例 テキスト「東京タワーに行った」 固有名詞抽出 「東京タワー」を取り出す Entity Linking 「東京タワー」が以下のreference(ここではWikipediaのページ)と対応することを決定する http
我々が失ったウェブ（The Web We Lost 日本語訳）
以下の文章は、Anil Dash による The Web We Lost の日本語訳である。 ハイテク業界やマスコミは、10億人規模のソーシャルネットワークや遍在するスマートフォンアプリの隆盛を普通の人たちの純粋な勝利、使いやすさと権利拡大の勝利のように扱ってきた。この変化の過程で我々が失ってしまったものが話題になることは稀だし、お若い方だとかつてウェブがどんなだったかご存知すらないかもしれないのは私も承知している。 そこで今では大方消えてしまったかつてのウェブを以下に紹介させてもらう。 五年前、共有される写真は大抵 Flickr にアップロードされ、そこで写真は machine tags を利用することで、人間ないしアプリやサービスででもタグ付け可能だった。単純な RSS フィードを利用することで、画像は容易に公開ウェブ上で見つけられた。そして人々がアップロードした写真は、クリエイティブ
Mining Contrastive Opinions on Political Texts using Cross-Perspective Topic Model(WSDM 2012) 読んだ & 実装して試した - 糞糞糞ネット弁慶
Mining contrastive opinions on political texts using cross-perspective topic model 概要 複数の立場(perspective)から書かれた文章があった時，論点(topic)ごとに立場の主張をまとめ，それらの主張の違いを定量的に出力する． 例えば，自民党と民主党のマニフェストが与えられた時，「年金に対する自民/民主の主張」「安全保障に関する自民/民主の主張」をそれぞれまとめ，かつ，あるクエリに対する意見の違いを数値で出力する． モデル documentが名詞などのtopic word(LDAなどのword)と形容詞や動詞，副詞などのopinion wordで構成されるとする．生成モデルは次のような過程を辿るとする． まずトピックを選ぶ トピックに従って単語(topic word)を選ぶ 次に，意見(opinio
分析関連ツイート ～「分析」に役に立ちそうなつぶやきだけを表示する～ iAna Lab（アイアナラボ）
@karin_apple25: 成績表から消えてた生物統計解析が復活してて、しかもＢとれてた！よかったぁ☆ (2012-03-26T14:58:53+09:00) @cloufeed: (2) 「データ分析」のクラウドサービス第2弾 【iAna Lab】 開始のお知らせ http://t.co/sDqylJ8q #クラウド (2012-03-26T13:56:29+09:00) @langstat: @at2c Coh-Metrix、興味あるけど、動かないんですよね（涙） あと、著者のCrossley氏（とJarvis氏？）は、NLPや統計を教育データに使うという点でかなりワタクシと興味が近そうなので、最近ちょっと気になってます。 (2012-03-26T13:47:28+09:00)
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning for NLP: Advancements & Trends