転置インデックスの構成とブーリアン検索
転置インデックスの構成とブーリアン検索 2008-01-18-1 [IIR][Algorithm] 「Introduction to Information Retrieval」[1]の第一章[2008-01-12-1] の転置インデックスまわりの用語と検索手順などの解説です。 ちょっと前に書いた 『ウェブ検索を「本の索引」で説明する試み』[2007-06-17-6] という記事の続きでもあります。 「転置インデックスによる検索システムを作ってみよう！」 [2007-11-26-5]もご参考に。 § 転置インデックス (inverted index または inverted file) は、 dictionary と postings の二つの部分から構成されます。 dictionary は索引語 (term) の集合です。 term が登場する文書の ID を posting と呼びます
GT Nitro: カーレーシング・ドラッグレーシングゲーム - Google Play のアプリ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
【コラム】Yet Another 仕事のツール (46) 茶筌とMUSASHIで純和風テキストマイニング | エンタープライズ | マイコミジャーナル
日本語の自然文も、茶筌を使えば単語単位にバラバラに分割できる。しかし、ただそれだけで満足していても仕事のツールにはならないので、今回は、以前紹介したMUSASHIと組み合わせて、簡単なテキスト・マイニングを行ってみよう。例題は、「テキストの中に表れる名詞だけを抽出してその出現回数を数え、多い順に上位20位まで表示するHTMLドキュメントを作成する」としよう。なお、今回のテスト環境にはMac OS Xを使用しているため、文字エンコーディングがUTF-8の環境を前提としていることをあらかじめお断りしておく。 最初に結論。茶筌とMUSASHIがインストールされていれば、以下のようなシェルスクリプトを書くことで今回の例題はクリアできる。 01 #!/bin/bash 02 cat ya44.txt | 03 chasen -i w -F "%m,%H\n" | 04 csv2xt -a 単
スラッシュドット ジャパン | Hyper Estraier 1.0.0リリース
あるAnonymous Coward曰く、"新生/.jpでも採用されている全文検索エンジンHyper Estraierが1.0.0をリリースした。作者の平林幹雄氏が、母体にあたるEstraier終息後に今年の3月から急ピッチで開発を進めてきたもの。特徴としては N-gram方式による漏れのない検索 大量の文書を高速でindexできる P2Pによる文書情報の共有 フレーズ、属性、類似検索をサポート など盛りだくさん。Windows用のバイナリも用意されており、xdoc2txtなどと連携することでPDFや*.doc形式の文書なども気軽に検索できる環 境を構築できる。 Webベースでの利用が多いようだが、コマンドラインツールであるestcmdやJava、Rubyなどのバインディングを利用することでローカルな環境でも使いでは十分。タレコミ子はGoogle Desktop Search使うにはマシン
形態素解析 エンジン 一覧
ChaSen 日本語形態素解析システム CaboCha Support Vector Machines に基づく日本語係り受け解析器 JSplitter 日本語の単語抽出ツール MeCab ChaSenを基に開発された高速な形態素解析器 Sen Java 形態素解析エンジン すもも NTT 物性科学基礎研究所で開発された日本語形態素解析システム 大量の日本語データを高速に形態素解析することを目的 JUMAN 日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツール Breakfast 富士通研究所が開発した日本語形態素解析システム KNP 日本語文の構文解析を行なうシステム SUFARY suffix arrayというデータ構造を用いて高速な文字列検索を行なう MACD Java RM用いた形態素解析システム Rosette Google、Amazon、Lycos 等名だたるサ
私のブックマーク: テキストマイニング
私のブックマーク テキストマイニング 1.はじめにインターネットやイントラネットにおいて増え続けている膨大な情報の中から有用な知識を発見するテキストマイニングが注目されている．テキストマイニングは情報抽出，テキスト分類，要約などの自然言語処理と情報検索やデータマイニング，機械学習の組み合わせで実現される．すでに人工知能学会においても，本学会誌2001年3月号の特集においてテキストマイニングが取り上げられているので，記憶に新しい読者の方も多いことであろう．本報では，その中の論文のひとつである「テキストマイニング-事例紹介」の付録であるリンク集を中心に，テキストマイニングの研究や活用に有用と思われるWebページを紹介する． 2.理論編テキストマイニングという言葉はよく耳にするが，具体的にどういう技術を指すのかがはっきりしない方には，テキストマイニングに関する解説がWebからも取得できるので参
My Bookmark: Machine Learning
私のブックマーク 学習 1. はじめに 機械学習の研究は飛躍的な進歩を遂げ、専門化が進んでいる。元々は人間の学習能力を目標に始められた研究分野だが、それどころではなくなってきたようで、全体を一望するのが困難になってきた。しかも、機械学習の一分野である帰納論理プログラミングについて、理科大の溝口文雄教授によるブックマークが昨年9月号で取り上げられていて、機械学習全体をカバーする有力サイトも紹介済だったりする。そこで、大規模で便利なサイトに筆者がたまたま訪れたサイトを織り交ぜながら、紹介したい。また、このコラムで紹介済のブックマークは省くか、違った説明を試みるので、バックナンバーも合わせて参照されたい。 2. ポータルサイト 機械学習について調べ物をするとき、とりあえずなんでもそろっているポータルサイトとしては、MLnet(Machine Learning network, http://ww
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://sashie.jp/sashieshow/index.jsp
データマイニングの宝箱
MUSASHI
404 Not Found
http://svrrd2.niad.ac.jp/faculty/nozawa/Research/memo/2003-0703.TextMiningGlossary.html
42マイニングリンク集