言語情報処理 用語集
あ行 アーリーアルゴリズム (Earley algorithm) 文脈自由文法に基づく構文解析アルゴリズム。ある非終端記号の直後に現われ得る終端記号を事前に予測することによって解析効率を改善している点が特徴。 IIS (Improved Iterative Scaling algorithm) 最大エントロピー法のパラメタを学習するアルゴリズム。 合図句 (cue phrase) →「手がかり句」 曖昧性 (ambiguity) 自然言語処理では、複数の解析結果が得られることを曖昧性があるという。例えば複数の語義がある場合は語義(選択)に曖昧性があるといい、かかり受け解析において複数の可能性がある場合は、かかり受けに曖昧性があるという。曖昧性は様々な処理レベルで存在し、曖昧性解消(ambiguity resolution, disambiguation)は自然言語処理の真髄とも言われる。
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
自然言語処理なサービスをつくりたい人は「入門ソーシャルデータ」も読むといいのでは - EchizenBlog-Zwei
@overlastさん経由でオライリー・ジャパンの伊藤様より「入門ソーシャルデータ」を献本して頂きました。どうもありがとうございました。気になっていた本だったのでとても嬉しいです。 というわけで紹介記事を。 まず、本書は翻訳本なので翻訳の質が気になるところ。これについては@overlastさんや@nokunoさん､@mizuno_takaakiさんなど実力のある方が監訳されているので心配ないと思う。 さて。 本書はタイトルの通り、ソーシャルデータを扱って面白い事をしたい人のための本。でもソーシャルデータに限らずwebのデータを使ったサービスを作りたい人は読むとよさそう。 以前、自然言語処理を活用したwebサービスを作るときに参考になる書籍を5冊紹介したのだが、これもそこに加えてもいいかもしれない。 自然言語処理を活用したwebサービスをつくるときに参考になる5冊の書籍 - EchizenB
はてなブログ | 無料ブログを作成しよう
作ってる人から買いたい 「サマンサタバサのところはツタヤだったんだよね」 言われてみて確かにそうだったと気づいた。東京の青山通りと表参道の交差点の話だ。なぜそんな話になったかというと当時は周辺で再開発が始まろうとしていたから。 様々な服屋が並ぶ通りの始まりが布団屋であること…
Natural Language Processing Group - Microsoft Research
The Natural Language Processing group focuses on developing efficient algorithms to process text and to make their information accessible to computer applications. The goal of the group is to design and build software that will analyze, understand, and generate languages that humans use naturally, so that eventually people can address computers as though they were addressing another person. The ch
日本語 WordNet (wn-ja)
日本語 WordNet リリース * 画像 * ダウンロード * 今後の予定 * 参考文献 * リンク * English 本プロジェクトでは、 Princeton WordNet や Global WordNet Gridに 着想をえて、日本語のワードネットを構築し、オープンで公開します。 独立行政法人情報通信研究機構（NICT）では、自然言語処理研究をサポー ト する一環として、2006年に日本語ワードネットの開発を開始しました。最初の 版、version 0.9は、2009年2月にリリースされました。このversion 0.9は、 Princeton WordNetのsynsetに対応して日本語をつけています。もちろん、 Princeton WordNetにはない日本語synsetを付与する必要があり、また、 Princeton WordNetにみられるsynsetの階層構造に、
CRF を使った Web 本文抽出 - 木曜不足
とある確率でカオスでタイムマシンな勉強会を 7/30 にサイボウズにて開催。 お疲れ様でした＆ありがとうございました＞各位 会のテーマに合うかなあと心配しつつ、以前 TokyoNLP #1 にて発表させていただいた、CRF(Conditional Random Fields) を使った Web 本文抽出ネタを焼き直し＆プチバージョンアップして発表した。 その資料がこちら。 CRF を使った Web 本文抽出 View more presentations from Shuyo Nakatani 最初は、元の資料そのまま持って行こうかな、と思っていたのだけど、結局結構それなりに改訂版に。 実装の方も少し更新してあって、最急降下法＋FOBOS L1 に対応していたり、素性も約３倍に増えていたり。 データは……相変わらず少ないけど(苦笑)、訓練データとテストデータを分けて、定量的な結果を資料にま
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
UNSUPERVISED WORD SENSE DISAMBIGUATION RIVALING SUPERVISED METHODS
UNSUPERVISED WORD SENSE DISAMBIGUATION RIVALING SUPERVISED METHODS David Yarowsky Department of Computer and Information Science University of Pennsylvania Philadelphia, PA 19104, USA yarowsky~unagi, ci s.upenn, edu Abstract This paper presents an unsupervised learn- ing algorithm for sense disambiguation that, when trained on unannotated English text, rivals the performance of supervised techniqu
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた 2009-07-05-3 [Programming][YahooHacks][NLP] Yahoo!デベロッパーネットワーク(YDN)にキーフレーズ抽出APIが登場しました。 テキストを渡すとそこに含まれる重要そうなフレーズを抽出してくれるAPIです。 公開から一ヶ月ほど経っていて目新しさはないのですが、ハックしてみたのでご報告。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html - キーフレーズ抽出API の紹介 (Yahoo!
Yahoo!のテキスト解析系APIとウェブ検索APIの使い方についてのプレゼンで出てきたURLのリスト
Yahoo!のテキスト解析系APIとウェブ検索APIの使い方についてのプレゼンで出てきたURLのリスト 2009-07-10-2 [Programming][YahooHacks] 「Yahoo! JAPAN × ロクナナワークショップ クリエイティブカレッジ」[2009-07-10-1]で話した内容のフォロー、というか、プレゼンで出てきたURLのリストです。 なお、プレゼンの内容は、Yahoo!ウェブサービスのテキスト解析系APIの使い方Tipsとウェブ検索APIを使ったテキストマイニングについてでした。 ■第一部：テキスト解析APIの活用方法 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html - Y!API demo forms - 日本語形
tfidfについて - 元ダメ院生がギークになるまで続ける日記
授業でtfidfを勉強してちょっと分かりづらかったのでまとめておく。 tfidfとは？ 情報検索で使うアルゴリズムの一つ。 それぞれの単語に重みをつけて、クエリーから文書をベクトル空間で表し 文書とクエリーの類似度でランク付けを行う。 その値が高いほど重要。 tfidf = w = tf・idf w:重みということ。 tfとは？ Term frequency(単語出現頻度) 同じ文書に何回も現れる単語ほど検索の有力な手がかり。 つまり一つの文書の中に多く書かれてる単語を探すってことか。 f =frequency of term in a document 単語が一つの文書で出現する頻度 つまりブラウザ上で Ctrl-Fとか使ってある単語を検索したときに、ヒットする数 tf = f/max(f) = 単語の頻度/文章で出現する単語の中で一番多い単語の数 修正(2009 1/6) tf = f
Yahoo! の他に、良い感じで特徴語抽出できるモジュールがありました: ふしぎだねブログ
文書の特徴語抽出に Yahoo! デベロッパーズネットワークの「テキスト解析キーフレーズ抽出」API が使えると思いサンプルコードで試行してみました。 テキスト解析サンプルコード http://developer.yahoo.co.jp/sample/jlp/sample3.html 特徴語といえそうな単語が上位にリストされます。 それなりと感じましたが、何となく、今一歩という感じもありました。 また、長文になるとレスポンスが表示されないのは仕様でしょうか？その点も気になりました。 日本を代表する検索企業のものなので、これが決定版になる印象を持っていましたが、そういうものでもないのですね。 この機会に他をあたったら、興味深い内容をまとめているサイトに出会いました。 検索エンジンを使う方法やコーパスとして Wikipedia などを使う方法が紹介されています。 また、先駆者が発信する情報がま
私のブックマーク「Web構造マイニングとWeb視覚化」
１．はじめに Webデータにおけるパターン発見をデータマイニング技術を用いて行なうこと をWebマイニングと呼ぶ。Webマイニングは、自然言語処理や機械学習、データ マイニングなどの人工知能の分野にとどまらず、情報検索やデータベースなど 幅広い分野と関連する複合的な研究分野である。 注目するWebデータの種類によって、Webマイニングは以下の3つに分類される。 1) Webページのコンテンツに注目し、自然言語処理やデータベースのアプローチを用いて、 テキストマイニングによる情報抽出や半構造データにおける検索のモデル化などを 目指すWeb内容マイニング 2) Webページ間を結ぶハイパーリンクによって構成されるグラフ構造に注目し、 関連ページの発見や重要ページのランキング、グラフ構造のモデル化などを 目指すWeb構造マイニング 3) Webページの閲覧によって生じる(サーバー側やクライアント
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
chasen.py - 備忘録-研究や勉強のメモ-
入門自然言語処理１２章を読み進める。 p.473 にて ChasenCorpusReaderを使って形態素解析済みの日本語コーパスを読み込む部分で少し詰まる。 まずchasen.pyをダウンロード（というかソースをコピペでemacsに貼り付け保存） さてこれをライブラリのどこに置いておけ良いのだろうか。。ソースの中ではimport utilとimportしているものもあるし。。試行錯誤して場所をあれこれ変えて試す。そして「C:\Python26\Lib\site-packages\nltk\corpus\reader」でおそらく正解だと決定。CorpusReaderのutilは共通のものをimportするってことなんでしょう。 ちなみにchasen.pyをインポートするときは from nltk.corpus.reader.chasen import * とせねばならず、本の表記 from
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
python | Go for it!