言語モデル - Negative/Positive Thinking
はじめに 自然言語処理だけでなく、音声認識、スペルチェック、情報検索など多くの分野で使われている「(確率的)言語モデル」について、少しまとめてみる。 言語モデル 「今日/は/晴れ」や「明日/は/雨」などの文はよく使われるのに対し、「晴れ/は/今日」や「は/雨/明日」などの文は全然使われない その文はどのぐらいの確率ででやすいのか？(生起確率) 確率的言語 その文(単語列)の確率を与えるモデルのことを「(確率的)言語モデル」という。 m種類の単語をn個ならべて作る単語列の確率を考えると、m^n個の単語列の確率がわかれば正確な言語モデルが作れる(？)。 例えば、3種の単語(「今日」「は」「晴れ」)を3つ並べて使う言語があったとして、それぞれの確率が、どこぞのコーパスから #単語列 生起確率 今日今日今日 0.0001 今日今日は 0.0001 今日今日晴れ 0.0001 ... 今日は晴れ 0
overlasting.net
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ？
※この記事には映画「The Social Network」のネタバレがそれなりに含まれています．これから映画を観る予定の方は逃げた方が賢明です． 最近ブログで宣言した通り，入門 自然言語処理を読みつつPythonのNLTK(Natural Language ToolKit)を使った自然言語処理について勉強中．入門 自然言語処理はPythonをロクに触ったことがない私でもちゃんと理解しながら読み進められるようになっているのが嬉しい． ところで，少し前に映画「The Social Network (ソーシャル・ネットワーク)」を観て，登場人物の台詞や行動がなかなか面白くて気に入ったのだけど，この脚本が映画の公式サイトで公開されていることを最近知った．映画の脚本となると，特徴的な表現が多く文章数もそれなりにあるので，興味深いコーパスになり得るのではないかと思う． というわけで，NLTK習い立ての
手軽に自然言語処理を学ぶには「入門 自然言語処理」の第12章がお勧め - 武蔵野日記
午前中、言語教育勉強会。進捗報告と発表練習など。見る度に新しい機能が追加されていたりUIが向上していたりするので、まだまだ先が楽しみである。 午後、CJE 勉強会と研究会。日本語の依存構造解析、これ以上向上させていくのは難しいということを知る。いろいろと悩ましい。少なくともこの状況の上に述語項構造解析をやらなければならないわけで…… 松本研OBの@takahi_iさんが記事を書いていると小耳に挟んだので、大学の売店で WEB+DB PRESS を購入してみる。ちなみに大学の売店、書籍・雑誌は1割引である。 WEB+DB PRESS Vol.59 作者: 竹内真,猪狩丈治,矢野りん,中島拓,伊藤敬彦,角田直行,はまちや2,柄沢聡太郎,田中正裕,梶原大輔,藤本真樹,増井俊之,加藤幹生,藤澤瑞樹,木村俊也,永井幸輔,中尾光輝,平田雄一,渡辺智暁,藤吾郎,原悠,浜本階生,八柳幹太郎,uupaa,塙
Google 日本語入力 - CGI API デベロッパーガイド
Google CGI API for Japanese Input Google CGI API for Japanese Input は、日本語変換をインターネット上で実現するための、CGI サービスです。 リクエスト http://www.google.com/transliterate に対して HTTP リクエストを発行します。GET メソッドを使ってください。以下の CGI パラメータを (URL エンコードした上で) 指定します。 langpair=ja-Hira|ja text=(変換したいひらがな列) text のひらがな列は UTF-8 でエンコードします。例えば、「へんかん」をリクエストする場合は、 http://www.google.com/transliterate?langpair=ja-Hira|ja&text=%E3%81%B8%E3%82%93%E3%81
猫はうろうろ - yasuhisa's blog
にゃーにゃー、ではなくてw。情報学類(今名前変わったんだっけか)のほうで出ている自然言語処理の講義ほうで、形態素解析をするための「wikipedia:ビタビアルゴリズム(Viterbi algorithm)」というのを勉強しました(GWの前くらいに)。なんか全然分かっていなかったので、書いてみることにしました。アルゴリズムの種類としては動的計画法(Dynamic Programming)に入るので、アルゴリズムデザインのほうの勉強にもなるし(という合理化)。 「猫はうろうろ」という文字列は「猫、はう、ろう、ろ」や「猫、は、うろうろ」など様々な形で形態素解析することができます。これをある基準で分解したいのですが、ここでは一番単純そうな単語数最小法と呼ばれる方法でやります。 このやり方で「猫はうろうろ」と「家におくりました」を形態素解析すると結果は次のようになります。 /tmp% ruby v
Polynomial Semantic Indexing - tsubosakaの日記
NIPS 2009で発表された論文"Polynomial Semantic Indexing" [1]を読んだ。これは低ランク近似を用いた教師ありの情報検索に関する手法である。 情報検索について 与えられたクエリに関して適当な重みづけをおこなって順位づけして、適切な文章を返却するという問題は古くから研究されている。 オーソドックスな方法としては文章をbag-of-wordsで表して各単語の重みをtf-idfで正規化し、クエリに関しても同様な処理を行いコサイン類似度などの距離尺度を使って最も近い何件かを返すというものがある。この方法の欠点としてはクエリの単語を含まない文章はヒットしないという問題がある。これは各単語が独立であるという仮定を行っているためであり、明らかに誤っている仮定である。 もう一つの方法としては文章-単語行列が低次元の特徴量によって近似する方法である。代表的な方法としてLS
スペル修正プログラムはどう書くか
Peter Norvig / 青木靖 訳 先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くらいで答えが返ってきて、もしかして: spelling じゃないかと言ってくる(YahooやMicrosoftのものにも同様の機能がある)。ディーンとビルが高い実績を持ったエンジニアであり数学者であることを思えば、スペル修正のような統計的言語処理についてもっと知っていて良さそうなものなのにと私は驚いた。しかし彼らは知らなかった。よく考えてみれば、 別に彼らが知っているべき理由はないのだった。 間違っていたのは彼らの知識ではなく、私の仮定の方だ。 このことについてちゃんとした説明を書いておけば、彼らばかりでなく多くの人に有益かもしれない。Googleの
DO++: 機械学習による自然言語処理チュートリアル
自然言語処理のときに使う機械学習手法のテクニックをざーっと２時間程度で紹介してほしいとのことだったので今日話してきました。基本的に、そんなに頑張らなくても効果が大きいものを中心に説明（特にパーセプトロンとか）を説明してます。 紹介した手法はパーセプトロン、最大エントロピー、正則化、多クラス分類、系列分類（CRF, Structured Perceptron）などなどです。どれも一かじりする感じで網羅的に見る方を優先してます。個々の詳しい話はそれぞれの文献や実装などを当たってみてください。 スライド [ppt] [pdf] ここで話しているのは線形識別モデルの教師有り学習が中心で教師無し学習（クラスタリングなど）など他の自然言語処理を支える技術は省いてます。 こういうのを使って（使わなくてもいいけど）どんどんアプリケーション作らないといかんね。 Tarot is not used to ma
発想支援ナビ
発想支援ナビは、 入力した単語となにかしらの関連のある単語（関連ワード）と、 それらの関連度、利用例を一気にブラウズできるサイトです。 関連ワードは、「類語」「シソーラス」などと比べると、 語同士のつながりが非常に緩い・弱いものが多いため、 ブレインストーミング（一人ブレスト）、アイデア出し、企画会議などの、 思考の飛躍を必要とする場面での発想支援に非常に有用です。
DO++: 自然言語処理の話
先日、自然言語処理はどのように役に立つのかというので酒の席で討論になりました。 自然言語処理とは、人が日常的に使っている自然言語（コンピュータ言語との対比でそうなってるらしく、日本語とか英語とか）をコンピュータに処理させる技術で、様々な技術と問題が融合する境界領域です。純粋な言語理論だけではなく、人工知能やら統計やら何でもまじってます。広義だと情報検索（の基盤といったほうがいいかな）とかも含まれます。 絵とか動画がいくらリッチな情報だとは言え、「昨日私がクーラーかけっぱなしのまま、裸で寝てしまい風邪をひいた」ということを言語情報無しで正確に伝えるのは難しいです。世の中の殆どの情報は自然言語で表されています。 で、自然言語処理が抱える宿命として、人にやらせると、言語処理は、ほぼ100%できてしまうということがあります。難しくないのです。 これは他の学問ではあまり見られないことで、例えば300
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
![[を] 転置インデックスによる検索システムを作ってみよう！](https://cdn-ak-scissors.b.st-hatena.com/image/square/af37977ee866988286b95e74fff98500a190545c/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png){kind=logo}
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
きまぐれ日記: Autolink: 前方最長一致ではなく最長キーワード優先一致を実現する
Hatena のキーワード置換アルゴリズムがTRIE ベースの手法に変更になったようです。以前に AC法でやる方法の記事を書いたのですが、それと似たことをやってるのでしょうか。 AC法のやり方は単純で、前方から最長一致でキーワードを見つけていきます。これまでは長いキーワードから順番に見つけていく方法(最長キーワード優先一致)だったそうですが、前方から見つけていく方法だと短いキーワードが優先される場合があります。 http://d.hatena.ne.jp/ita/20060119/p1 http://d.hatena.ne.jp/hatenadiary/20060119/1137667217 本文：あいうえおかきくけこさしすせそ KW1 いう KW2 うえおかき KW3 かきく KW4 きくけこさし という文でKW1-KW4のキーワードがマッチする場合、新しくなった方法では「いう」と「かき
きまぐれ日記: キーワード抽出: tf-idf の意味づけ
単語の重み付けの古典的な方法に tf-idf があります。文書中の各単語の tf-idf 値計算し、値でソートすると、その文書に特徴的な単語リストを得ることができます。 http://nais.to/~yto/clog/2005-10-12-1.html tf-idf は、単なるヒューリスティックスだと考えられていましたが、最近言語モデルに基づく情報検索手法がさかんに研究されるようになり、tf*idf の解釈が明らかになってきました。言語モデルに基づく手法は、ヒューリスティックスばりばりの手法と同性能にもかかわらず、文書のランキングに理論的で合理的な説明を与えることができます。 情報検索は、クエリ q に対し、もっとも適合する文書 d_opt を求めるタスクです。つまり、q が与えられたとき、文書 d が出現する確率 p(d|q) の最大化問題と解釈できます。 d_opt = argmax
日本発の自然文検索エンジン、まもなくリリースキーウォーカーが開発、2006年にはブログ検索サービスも
日本発の自然文検索エンジン、まもなくリリース キーウォーカーが開発、2006年にはブログ検索サービスも 日本のベンチャー企業から、独自開発の日本語自然文検索技術がまもなく正式にリリースされることになりそうだ。 早ければ年内には、一部サイトでの利用が開始されるほか、来年早々には、ブログ検索サービスの試験運用を開始することになる。本誌では、その概要をいち早くキャッチした。 ● 社長の長年の研究成果を実現 日本語自然文検索技術を開発したのは、株式会社キーウォーカー（旧きゃむネット）。 大学を卒業後、日立系のソフト会社である日立ソフトウェアにおいて、Lotus Notes/Dominoに関するソリューション開発などに従事していた真瀬正義氏がスピンアウトして、2001年4月から事業を開始した企業だ。 当時の経験をもとに開発したLotus Notes/DominoをベースとしたWebシステムであるパッ
特許文書を読みやすくする専用解析技術、NTTデータが開発
難解な特許文書を読みやすいように表示します──NTTデータは、自然言語処理技術を活用し、特許文書を解析して視覚的に表示したり、類似特許検索のためのキーワードを抽出することができる新技術を開発した。 企業が知的財産を重視する流れが加速し、特許出願件数は年間40万件以上に増加している。他社特許権の侵害などを防ぐため、出願済み特許の調査業務も重要になってきている。 だが特許文書はあいまい性を排除するため、独特の言い回しを多用した回りくどい文章で発明の内容を説明している。文章を解読し、内容を正確に理解するには専門家でも時間がかかるのが実情だ。 NTTデータが開発した新技術は、「パターンマッチング」技術を応用した。同技術は特定の品詞や表記などの「形態素」をパターン化し、パターンに適合した文字列を文書から抽出するなどして文書を解析する。 新技術では、特許文書独特の表現形式をパターン化することで構造解析
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
overlasting.net
Loading...
http://chasen.org/~daiti-m/paper/naist-dlec2004-lmodel.pdf