【記事更新】私のブックマーク「視覚と自然言語の融合研究（Integrating Vision and Language）」 | 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「視覚と自然言語の融合研究（Integrating Vision and Language）」 牛久祥孝（東京大学） はじめに 視覚（もう少し具体的にいえば画像や動画など）を対象とした研究と、自然言語を対象とした研究は、それぞれComputer VisionおよびNatural Language Processingの領域において、お互い少しずつ影響しあいながら発展を遂げてきた。特に近年、深層学習の一種であるConvolutional Neural Network (CNN)やRecurrecnt Neural Network (RNN)といった共通の機械学習手法が台頭し、それぞれの領域への参入障壁が低くなった。結果として、視覚と自然言語を融合する研究が様々な広がりを見せつつある。（深層学習によって、はじめてこれ
fastTextを使って単語じゃないものの分散表現を獲得する - Qiita
※ 2017/1/16に追記しました Retty Advent Calendarで穴が空きそうになったとき用に記事用意してたんですが、ちゃんとみんな埋めてくれたみたいです。良かった。 で、用意した記事が無駄になってももったいないので普通の記事として公開しちゃいます。 皆さんfastTextって知ってますか？ Facebookが公開している自然言語処理用のツールです。GPU使わないのに超速いのでありがたく使ってます。 単語の分散表現を学習させたり文章の分類とかができるんですが、分散表現の学習の仕組みって語彙にID振ってone-hot vectorにして、それを次元圧縮してるんですよね？（適当） じゃあ、ID列で表せる何かならなんでも分散表現にできるんじゃね？って思いません？ 思いついたらやってみましょう。 用意するもの fastText Rettyユーザーのお店詳細ページの閲覧履歴 やること
ニューラルかな漢字変換 - Qiita
3行まとめ Recurrent Neural Networkによるかな漢字変換をTensorFlowを使って実装しました。 既存手法のN-gramと比べて高い精度（文正解率2.7ポイント向上・予測変換3.8ポイント向上）を実現しました。 RNNの特性により離れた単語の共起関係と低頻度語の扱いが改善されました。 かな漢字変換とN-gramモデルの限界 パソコンやスマートフォンで日本語を入力するためのかな漢字変換には、同音異義語や単語区切りに曖昧さがあります。この問題に対処するため、現在は大規模な訓練データに基づく統計的言語モデルが主流になりました。その中でも代表的な単語のN-gramモデル1では、連続する単語列の頻度を使って言語モデルを構成し、変換候補の確率が高いほど順位が高いと考えます。 しかし、N-gramモデルには離れた単語の共起関係を考慮できないという問題点（マルコフ性）と、低頻度語
Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog
社内の機械学習勉強会で最近話題になった機械学習関連のエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。GNMTで使われているEncoder-Decoderやattentionのような仕組みを直近で使う予定は特にはないですが、機械学習を使うエンジニアとして知っておいて損はないし、技術的に何が変わったことにより何ができるようになって、何はまだできないのかを知ろう、というのが目的です。技術的な項目は興味ない人も多そうなので、最後に持っていきました。 Google Neural Machine Translation(GNMT)の最近の進化について できるようになったこと 定量的な評価 まだまだ難しいこと 技術的な詳細 Encoder-decoder Attention based encod
日本語極性判定を作って公開した - Qiita
はじめに 日本語極性判定APIを公開しました。こちらで公開しています。極性判定は、入力テキストについてPositiveかNegativeを判定する技術です。早速動作を見てみましょう。 ※11月6日アップデート 最新の性能情報はこちらでアップデートします。 デモサイト みんなで改善するSocial Sentiment APIはこちらから利用できます 関連情報 deeplearning4jで日本語WikipediaのWord2Vecを作る deeplearning4jのword2vecの限界とその上手な使い方 deeplearning4jのdoc2vecで極性判定してみた deeplearning4jのdoc2vecにwikipediaのword2vecモデルを注入する deeplearning4jでword2vecのベクトルデータからNNで極性判定してみる deeplearning4jでwo
Inside-Outsideアルゴリズムを試す - Negative/Positive Thinking
はじめに 確率文脈自由文法での生成規則の適用確率の推定アルゴリズムで紹介されている「Inside-Outsideアルゴリズム」について、Webで検索してみても、最尤導出の構文木や内側確率の計算例などはあっても、外側確率や生成確率の推定などまで計算例を書いてくれているのはなさそうだったので、手計算確認用にプログラムを書いた。 Inside-Outsideアルゴリズムとは 内側・外側アルゴリズム 確率文脈自由文法の生成規則(チョムスキー標準形)の確率値をコーパスを求める際に、内側確率βと外側確率αを導入することで効率よく求められる 隠れマルコフモデルにおける前向き・後ろ向きアルゴリズムに似た感じ 内側確率 : 非終端記号Aから終端記号列w_i^jが生成される確率 外側確率 : 導出中に出現するAについて、Aが支配しているw_i^j以外の両側の終端記号列w_1^{i-1}とw_{j+1}^Nが現
paragraph2vecの論文 要訳 (Distributed Representations of Sentences and Documents) - Qiita
paragraph2vecの論文 要訳 (Distributed Representations of Sentences and Documents)自然言語処理機械学習word2vecparagraph2Vec論文読み 原文: Distributed Representations of Sentences and Documents 要訳者からのお知らせ この要訳はTSGの機械学習分科会での発表のために作られたものです。 雑に内容を理解するためのまとめであり、正確な内容を保証するものではありません。 致命的なミスはコメントか編集リクエストでお知らせください Abstract 機械学習するには入力を固定長のベクトルにする必要がある 既存手法で一番popularなのはbag-of-words だけどBOWはクソ 順序の情報が失われる 単語間のセマンティクスが失われる なので Paragr
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話
JUMAN++は最近黒橋・河原研究室から発表された、JUMANの後継となる形態素解析器です。 これまでの形態素解析器と比べて違うのは、RNN言語モデルを用いて意味的自然さを考慮する、ニューラルネットワークを利用した形態素解析器となっている点です。 速度や語彙等の課題はあるものの、解析能力自体はMeCab以上なので、導入方法と共に触ってみた所感を述べてみます。 導入方法 前提 OS X Yosemite 10.10.5 VirtualBox 5.1.6 Vagrant 1.8.6 インストール vagrant boxは bento/ubuntu-16.04を使用します。 推奨はCentOSですが、自分の環境ではCentOSではビルドに失敗しました。 また、OSはubuntu16.04でもboxによっては上手くインストールすることができないため、bentoのboxがおすすめです。 $ vagr
JUMAN++の形態素解析辞書についてのメモ
黒橋・河原研究室より，新しい日本語形態素解析システムJUMAN++ ver.1.00がリリースされました(2016.9.23)． これは森田一さんらのEMNLP2016の論文の実装です． 配布されているパッケージには，その新しい解析システムだけでなく，新しい形態素解析辞書も含まれています． 以前のJUMAN 7.0に含まれている形態素解析辞書は2012年公開なので，実に4年分の差分が詰まっているわけです． 格フレーム構築の研究の関係で， この形態素解析辞書の動詞まわりの整備を京大在職中に行ったので， どのような変更があるのかを，メモとして少し記します． （なお，このメモにある情報は全て公知の情報に依るものです） JUMAN++の概要 まず，辞書について記す前に，簡単にJUMAN++の概要を述べましょう． JUMAN++という名前から受ける印象は，JUMANを少し改良したものという印象を受け
ACL2016読み会@すずかけ台
概要 内容: ACL 2016で発表された論文を読む (+ BBQ) 場所: 東京工業大学すずかけ台キャンパスR2大会議室(6階) 日時: 2016年9月16日(金) 10:20-17:30 参加者 高村、笹野、上垣外、渡邉、石垣、瀧本、馬緤、菅原拓 (東工大)、 小林、永井、菅原晃、佐野 (ヤフー)、横野 (富士通研)、萩行 (ウェザーニューズ) [=発表者:14名] 菊池、林、胡、佐藤貴、中村、村上、井田、金澤、田中、谷口、波多、矢田 (東工大)、田中 (サイバーエージェント)、 小林、熊谷、樺山、濵園、松尾、大山、恒川 (小林研)、田中 (お茶大)、磯 (NAIST)、海野 (PFN) [=聴講者: 23名] プログラム 10:20-10:30: Opening [笹野, pdf] 10:30-12:15: Session 1: Semantics / Word Embedding
第8回最先端NLP勉強会（SNLP 2016）
概要 自然言語処理分野におけるトップジャーナル・トップカンファレンスであるTACL （直近1年）、ACL 2016、NAACL 2016、EMNLP 2015の論文の中から、参加者の投票によって厳選した論文を、各参加者が紹介する勉強会です。 勉強会の参加者は、各自1～2本の論文を担当し、全体で30本程度の論文の紹介をします。 第1回目は1研究室のメンバーを中心とした会でしたが、第2回目より、研究室の枠を超え、東京近郊の様々な研究室の学生・研究者有志一同による勉強会として開催しております。 このイベントを通じて、研究者間の活発な情報交換・意見交換・交流が行われ、今後の研究に活かされることを本勉強会の狙いとしています。 過去の勉強会の様子 スケジュール 9月11日（日）
Facebookが公開した10億語を数分で学習するfastTextで一体何ができるのか
fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表
カメリオで使われている機械学習 | カメリオ開発者ブログ
はじめまして。白ヤギコーポレーションでエンジニアをしている谷田です。 カメリオでは、テーマに合ったニュース記事を提供するために、機械学習を応用した新しいアプローチを最近こっそり導入しました。この記事では、カメリオがどのようにニュース記事がテーマに合っていると判断しているのか、そのアルゴリズムの概要を解説してみたいと思います。 カメリオでは新しく入ってきたニュース記事を、何万もあるテーマの中から良く当てはまるものに自動的に振り分けています。これまでカメリオでは、記事があるテーマに振り分けられるためのさまざまな条件を半自動的に導出して、テーマと記事とのマッチングを行っていました。しかしこの従来の方法では、テーマ名の単語が記事中にたくさん出てきたりした場合に、実際にはあまりテーマに関係が無かったり、あるいはユーザの興味を引かないような記事が混ざってしまうことがありました。 新しく導入した機械学習
深層ニューラルネットワーク�による知識の自動獲得・推論
2. 自然言語処理とは • 言葉を操る賢いコンピュータを作る • 応用: 情報検索，機械翻訳，質問応答，自動要 約，対話生成，評判分析，SNS分析，… • 基礎: 品詞タグ付け（形態素解析），チャンキ ング，固有表現抽出，構文解析，共参照解析， 意味役割付与，… • 多くのタスクは「入力𝑥𝑥から出力�𝑦𝑦を予測」 �𝑦𝑦 = argmax 𝑦𝑦∈𝑌𝑌 𝑃𝑃(𝑦𝑦|𝑥𝑥) ※確率ではないモデルもあります 2016-06-30 深層ニューラルネットワークによる知識の自動獲得・推論 2 3. 単語列からラベル: ̂𝑦𝑦 = argmax 𝑦𝑦∈𝑌𝑌 𝑃𝑃(𝑦𝑦|𝒙𝒙) 2016-06-30 深層ニューラルネットワークによる知識の自動獲得・推論 3 The movie is the best I’ve ever seen! The movie
Dango - Emoji & GIF Assistant App for Android
Technological developments have made communication much easier. Long distance communication has become very easy and varied nowadays. In the past, long-distance communication could only be done by letter and this could not be sent in a very fast time because it was also determined by the distance between the two existing places. After that, then […] The presence of various applications to send mes
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
ktsukuda.net - このウェブサイトは販売用です！ - 情報学 京都 大学 データベース フォー 学生 田中克己 奨励賞 リソースおよび情報
リクルート式 自然言語処理技術の適応事例紹介
Text summarization with TensorFlow
