確率的情報検索 Okapi BM25 についてまとめた - sonickun.log
ひょんなことで情報検索の知識が必要になったので，勉強したことを簡単にまとめておきます． 情報検索とは，コンピュータを用いて大量のデータ群から目的に合致した物を取り出すことです． Okapi BM25は情報検索における文章中の単語の重み付けの手法の一つであり，他にもTF-IDFと言ったアルゴリズムがあります． Okapi BM25 - Wikipedia, the free encyclopedia 一般的にはTF-IDFよりも良い結果が得られると言われ，比較手法としてのベースラインになっています． Term Frequency (TF) 文書中において出現頻度の高い単語は重要であるという考え方です． ある単語Tiの文書Dj中における重みを考えると TF(i,j) = (文書Djにおける単語Tiの出現回数) / (文書Djのの総単語数) となります． Inverse Document Fre
Okapi BM25 実装方法 - 旧みずぎわブログ
2013-10-15 Okapi BM25 実装方法 技術系 単語重み付け 情報技術 ■はじめに 最近の単語重み付け（用語重み付け）の分野ではTF-IDFを差し置いてOkapiのBM25という手法がスタンダードとなっている． 一般的にTF-IDFよりも良い結果が得られると言われ，比較手法としてのベースラインとなっている． これを実装するためにはTF-IDFに一手間（文書長と平均文書長）加えればよい． 以下がBM25の式である． 出典：http://en.wikipedia.org/wiki/Okapi_BM25 各パラメータは D：特定の文書 Q：全部の単語 qi：i番目の単語 IDF (qi)：単語qiのIDF値 f(qi,D)：文書Dの中での単語qiのtf |D|：文書Dのドキュメントの長さ→文書の単語数で置き換えられるはず avgdl：全文書の平均ドキュメント長 k1：パラメータ 1
統計的テキスト解析(9)～テキストにおける情報量～
標本データが、ある母集団から得られる確率を尤度(ゆうど,Likelihood)と呼ぶ。1枚のコインを100回投げた結果、{表}が48回現れたとする。もし、各面が現れる確率が1/2であることがわかっていれば、48/100≒0.5であるから、{表}が現れる尤度は1/2になる。しかし、ゆがみがあるコインの場合は、ゆがみに関する規則(あるいは関数)を考えることが必要である。ゆがみがあるコインの各面が現れる確率を左右する要因をθとすると、尤度はθの関数である。θをパラメータと呼ぶ。ポアソン分布の場合はλ、正規分布の場合はμ,ρがパラメータθである。 確率は、母集団において事象が起こる率であり、尤度は、標本データと仮説のもとで得られた、事象が母集団で起こりそうな度合(尤もらしい度合＝尤度)である。ここでの仮説は、データが従うと仮定したモデルである。 データを統計的に分析する際は、しばしば標本データを用
画像処理による日本語文章の難易度判定システム - ほとラボ
あけましておめでとうございます。 新年早々ネタエントリです。 難しそうなエントリですが、専門用語使ってドヤ顔しているだけでやっていることは全然難しくないです。 テキストを入力すると、その文章の難しさを判定してくれるやーつを作った。 研究の背景と目的 研究室の先輩が昔、マハラノビス距離を用いた日本語文章の難易度判定システムの提案 という研究をしていた。 それはそれで興味深い研究なのだが、もっと自然言語処理という枠からはみ出した斬新なアプローチの仕方があってもいいのではないかと考えた。 先行研究では 漢字の割合, 漢語表現の割合, 平均文節数 を特徴量として難易度判定を行っているが、我々が文章を読んだときに「難しい」と感じる要素は本当にそれだけだろうか。 文章の難しさというのは、どんな単語や言い回しが使われているかではなく、もっとシンプルなところにあるのではないか。 例えば、普段ラノベや漫画し
Statistical Semantic入門 ~分布仮説からword2vecまで~
1. The document discusses various statistical and neural network-based models for representing words and modeling semantics, including LSI, PLSI, LDA, word2vec, and neural network language models. 2. These models represent words based on their distributional properties and contexts using techniques like matrix factorization, probabilistic modeling, and neural networks to learn vector representatio
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit Steven Bird, Ewan Klein, and Edward Loper This version of the NLTK book is updated for Python 3 and NLTK 3. The first edition of the book, published by O'Reilly, is available at http://nltk.org/book_1ed/. (There are currently no plans for a second edition of the book.) 0. Preface 1. Language Processing and P
特徴抽出チュートリアル
海野です。 特徴抽出モジュールである、 fv_converter についてチュートリアルを書こうと思ったら、長くなってしまったので連載にします。 今日は、手始めに特徴抽出とは何かについてかいていきます。 一般的には、テキストや画像、時系列データといった生の入力データを、機械学...
自然言語処理とか機械学習とかグラフとか簡潔データ構造とか全部入った良書｢日本語入力を支える技術｣がすごい - EchizenBlog-Zwei
@tkngさんの力作「日本語入力を支える技術」が2/8に発売される。既に秋葉原のヨドバシ有隣堂や池袋のジュンク堂本店では早売りされている様子。ってことで早速購入してきた。 本書が扱うテーマはGoogleIMEのような「日本語入力」のシステム。これだけだとさして興味ないや、って人も多いかもしれない。ところがこの日本語入力というのは技術的には形態素解析に非常に近い。自然言語処理やテキストマイニングに関わる方にとっては形態素解析は最も基本的かつ重要な技術。その仕組みを知っておくのは非常に重要だと思う。 また日本語入力(形態素解析)は技術的には機械学習、グラフの最短経路問題、簡潔データ構造など多くの分野が関わっているので「日本語入力」を理解することでこれらの多くの基礎技術の具体例を体感できるというメリットがある。 そんな日本語入力をまとめて勉強できるのが本書「日本語入力を支える技術」である！ばーん
これからはじめる人のための機械学習の教科書まとめ - EchizenBlog-Zwei
最近では企業における機械学習の認知度も高まっていてエンジニアの求人募集でも「望ましいスキル：機械学習」というのをよく見かける。特にweb系の企業だと当たり前のように機械学習を活用した魅力的なサービスが生み出されているようだ。 そんなわけで先日書いた機械学習の入門記事もそれなりに好評で末尾の教科書リストも結構参考にしていただいた様子。ということで、これから機械学習をはじめる人のためにオススメの教科書を10冊ほどピックアップしてみた。 幸いにして機械学習の分野には良書が多い。5年前はナイーブベイズすら知らなかった私も、これらの教科書のおかげでなんとか機械学習を使えるようになりました！(個人の体験談です。効果には個人差があります) 参考: 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 最初に既存の機械学習の教科書まとめを挙げておくの
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
マルコフ連鎖でTwitter BOTを作る - FLYING
既にやり尽くされた感のあるネタだが，個人的には得られた点が多かったのでまとめておく。 やりたいこととしては，「twittbotでBOTを作るだけじゃツマラナイし面倒だから，自動でBOTが学習して呟いてくれたらいいよね！」って感じ。皆に愛されているしゅうまい君などもマルコフ連鎖で文章を生成しているらしいヨ。圧縮新聞は言わずもがな。 環境 Cent OS 5.4 ruby 1.9.3p125 (2012-02-16) [i686-linux] igo-ruby (0.1.5) mecab-ipadic-20070801 (MeCab用の日本語辞書) The Ruby Twitter Gem (2.1.0) アカウントの準備 BOTを運用するアカウントを作成する。このとき，アカウントで利用するメールアドレスの認証を済ませておかないと，後でTwitter Developersのサイトにログインでき
人工無脳は考える
人工無脳は気軽に「らしさ」を楽しむことができる、知能を持たない会話プログラムです。しかし人工無脳との会話はときとして、論理で固められた人工知能が持ち得なかった人間らしさ ― 即興、いたずら心、感情 ― を私たちに感じさせてくれます。その意味では知能の本質を追求するための別の切り口なのかもしれません。このようなロマンを追い求めて日頃とりとめもなく考える雑談的トピックをまとめてみました。 最近の記事より 厳選おすすめ＆人気書籍 2008/09/28■自我状態を考慮した人工無脳 - 追記 人工無脳は会話の中でユーザに不自然さを感じさせ、会話が続かなかったり、拒絶されるという点が課題となっている。この原因の一つに人工無脳の印象やムードがでたらめに変化し安定していないことが挙げられる。一方、人は通常意識することなく相手に不適切なメッセージが伝わることを避けてうまくコミュニケーションをはかっている。
人工無能作成に役立ちそうなサイトなどのまとめ 厨二病患者のプログラミング入門
twitterのbotを作ろうと思って自然言語処理や人工無能関連のサイトなどを色々と調べたので、とりあえずそれらへのリンクをまとめてみようと思います。 参考になりそうなサイト 人工無脳は考える 人工無能についてかなり詳しい情報が載っています。「精霊石」という人工無能も配布されています。 人工無能の作り方・育て方 色々な人工無能のタイプについて書いています。現在作っているbotはこれの1にあたります。 人工無能の作り方 twitterのbotを作った人が書いたサイトのようです。主にMeCabの使い方が載っています。 Python による日本語自然言語処理 後述する『入門 自然言語処理』の日本語版オリジナルの部分のみが掲載されています。「技術書なんて高くて買えねぇ!」な方はどうぞ。 書籍 入門 自然言語処理 『Natural Language Processing with Python』の日
Pythonによる日本語自然言語処理 #pyconjp
Pythonによる日本語自然言語処理 #pyconjp - Presentation Transcript Python @nokuno #pyconjp • Python 2.X • • • • • @nokuno / id:nokuno • #TokyoNLP • Social IME / StaKK • Web • Python 2.X Python 2.X / read write UTF-‐8 “ ” decode encode Unicode u” ” # encoding: utf-‐8 u” “ decode encode MeCab• MeCab• Python MeCab – mecab ipadic, mecab-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Latent Dirichlet Allocation ゆるふわ入門 - あらびき日記