双対分解による構造学習 - Preferred Networks Research & Development
入力\(x\)から出力\(y\)への関数を学習する機械学習の中で、出力が構造を有している問題は構造学習（Structured Output Learning）と呼ばれ、自然言語処理をはじめ、検索のランキング学習、画像解析、行動分析など多くの分野でみられます。 今回はその中でも複数の構造情報を組み合わせても効率的に学習・推論ができる双対分解による構造学習について紹介をします。 # 構造学習についてよく知っているという方は双対分解による構造学習のところまで読み飛ばしてください。 構造学習の導入 構造を有した出力の例として、 ラベル列 （品詞、形態素列の推定、時系列におけるアクションの推定、センサ列） 木 （係り受け解析における係り受け木、構文解析木、談話分析、因果分析） グラフ （DAG:述語項構造による意味解析 二部グラフマッチング:機械翻訳の単語対応） 順位付集合（検索における順位
言語処理のための機械学習入門を読んだ - 射撃しつつ前転 改
言語処理のための機械学習入門という本が出版される、という話はtwitterで知っていたのだが、8月ぐらいに出るのだろうとばかり思っていたら、なんかもう発売されているらしい。Amazonでは早速売り切れていたので、某大学生協の書籍部まで行って購入してきた。おかげで、この週末は280円で過ごすハメになってしまった。 まだざっと眺めただけだが、 ラベルを人手でつけるのに隠れマルコフモデルと言うのは本来はちょっとおかしいんだけどNLPの分野だとそう表現する事が多いよ 対数線形モデルと最大エントロピーモデルは同じものだよ 出力変数の間に依存関係がなければCRFではなく対数線形モデルとか最大エントロピーモデルと表現するべきだよ といった、これまでの教科書にはあまり載っていなかったような事が載っているのはとても良いと感じた。こういった情報は、これまではどこかの大学の研究室で学ぶか、もしくはウェブ上の資料
ATOK の辞書をつくる - 武蔵野日記
@klmquasi さんのお勧めで 電脳日本語論 作者: 篠原一出版社/メーカー: 作品社発売日: 2003/03/01メディア: 単行本購入: 1人 クリック: 8回この商品を含むブログ (11件) を見るを読んでみる。これはジャストシステムの開発者の人から辞書を作っていた人、そして ATOK 監修委員会のできるまでとできてから、などなどをまとめた本であり、日本語入力や計算機上の日本語処理に興味のある人が読むと、とてもおもしろいだろう(2003年の本で新し目だし、これはお勧め)。後述するが、これはぜひみなさんに買って読んでもらいたい。 Google 日本語入力ができてから、日本語入力は規範的であるべき(たとえば「ら抜き表現」は日本語として「間違っている」ので変換できないようにするとか)か記述的であるべき(実際言語は変わりうるものであり、使う人がそう書きたいのであれば、変換できるべき)かと
SFC-GC
http://www.sfc.keio.ac.jp/~ishizaki/jugyou/nl06.htm 人間がコンピュータに話しかけて電子メール文を作ったり､ インターネットで日本語を入力すると翻訳して世界中の情報を検索できれば､ コンピュータはさらに一段と使いやすくなるでしょう｡ このように､ 近い将来にコンピュータの言語能力は大きく進歩するに違いないと思います｡ しかし､ 人間が日常生活で言葉を使用するとき､ 意識はしないけれども実に多くの種類の知識を駆使しています｡ テレビを見たり新聞を読む時､ 文章を書く時､ 電話で友達と話す時など多数あります｡ そのときは日本語の文法だけでなく内容に関する知識や一般的な常識も重要です｡ この授業では､ コンピュータが自然言語を理解するために必要な概念や手法を学ぶと同時に､ 入力した文の構文と意味を解析する簡単なシステムで実習します｡ コンピュータ
マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
そもそも、マルコフ連鎖とは何なのか？全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ？コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った！ 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。（素晴らしい情報に感謝です！） MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ
キーフレーズ抽出API の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、日本語処理技術部の阿久津剛之です。 Yahoo!デベロッパーネットワークにて、キーフレーズ抽出APIを公開しましたので紹介します。 キーフレーズ抽出APIとは、与えられた文章から、その文章を特徴づける重要な部分（キーフレーズ）を抽出し、独自の算出方法により点数付けを行って返すAPIです。 例えば、「東京ミッドタウンから青山一丁目駅まで歩いて15分かかります」という文章をキーフレーズ抽出APIに与えると、 「東京ミッドタウン」「青山一丁目駅」「15分」 という結果が返ってきます。 ここで、「青山一丁目駅」に注目してみましょう。 「青山一丁目駅」は、日本語形態素解析APIを用いて解析すると、 青山 / 一 / 丁目 / 駅
新納浩幸のホームページ
新納浩幸 (Hiroyuki Shinnou) 教授 茨城大学工学部 情報工学科 〒316-8511 日立市中成沢町 4-12-1 Phone: (0294) 38-5220 Fax: N/A Email: WWW: http://nlp.dse.ibaraki.ac.jp/~shinnou Office: S-1 棟（情報棟） 609 号室 略歴 CV (2020/10/29) 自己紹介の PDF (AI-ICT で使っているもの、2020年8月) 大学の講義 講義関係の情報は全て学内の教務情報ポータルシステムに移動しました。 研究（自然言語処理） 機械学習や統計学を利用した自然言語処理が中心研究テーマ。 画像や音声のパターン認識あるいはデータマイニングにも興味を持っている。 著書 発表論文 雑誌記事、講演など 卒業研究(研究室内限定) 資料 論文検索 NII論文情報ナビゲータ
文書比較（diff）アルゴリズム
文書比較（diff）アルゴリズム 前のドキュメント 次のドキュメント ＶｉＶｉの文書比較（diff）機能で使用しているアルゴリズムについて解説する。 これらのアルゴリズムは Myers 氏らの論文によるもので、氏は筆者のためにわざわざ論文をＷｅｂサイトで入手可能な形式にしてくださった。この場を借りてお礼申し上げる。 オリジナル論文は以下のＷｅｂサイトから入手可能である。 http://www.cs.arizona.edu/people/gene [1] E.W.Myers, "An O(ND) Difference Algorithm and Its Variations", Algorithmica, 1 (1986), pp.251-266 [2] S. Wu, U. Manber, G. Myers and W. Miller, "An O(NP) Sequence Comparis
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
