こんな検索エンジンが欲しい!｜gihyo.jp
本連載では、筆者が約4年間に渡って開発を続けているFINDSPOTという検索エンジンを紹介していきます。FINDSPOTは約1年前より商用での提供を行っていますが、近いうちにオープンソースでの公開を計画しています。今回は、開発を行うに至ったきっかけについてのお話です。 きっかけは顧客の要望から 時は2003年、今から約4年前に遡ります。筆者は当時、客先のイントラネット構築プロジェクトを手がけていました。イントラネットでは、全文検索は目的の情報に素早くたどり着くために必須の機能です。フリーの全文検索エンジンとして有名なNamazuは、当時の筆者にとってすでに数年間愛用し、手に馴染んだソフトウェアでしたので、客先のイントラネットの構築でもNamazuを使って検索機能を実現していました。 ところが、客先より人名や特殊な業界用語などで完全一致で検索できないケースがあるという指摘を受けました。Nam
第4回 形態素解析のしくみ | gihyo.jp
ソフトウェア的な索引では見出し語に対して、その見出し語が使われている文書（ファイル名、文書ID等）のリストを保存します。検索時は索引から見出し語を見つけ、その見出し語が使われている文書のリストを取得するだけなので、高速に検索が行えます。 全文照合方式と索引方式には、それぞれメリットとデメリットがあります。全文照合方式は、検索のたびに対象のテキストデータをメモリ上に読み込んで照合処理を行うため、大量の検索対象の場合、どうしても検索時間がかかるという欠点があります。 索引方式は、高速に検索が行える反面、あらかじめ索引を作成しておかなければなりません。索引の作成処理は、かなり負荷の高い処理になってしまいます。 このため、全文照合方式と索引方式には、それぞれ向き、不向きがあります。利用する場面に応じて使い分けるのがポイントです。検索対象が少量で検索回数も少ないなら全文照合方式、検索対象が大量で頻繁
WindowsでMeCab Pythonを使う - 人工知能に関する断創録
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
wikipedia dump を使って複合名詞を判定してみる - 開発めも２
例えば「ウォークマン」を形態素解析器にかけると、mecabやChasenの場合だと、 「ウォーク|マン」と分けてしまう。 多くの場合、連接する名詞をくっつけて複合名詞とすればうまくいくけど、例外もたくさんある。 単純に連接名詞をとるだけだと、「世界最高新記録並の早さ」を「世界最高新記録並|の|早さ」と分けてしまう。 「世界最高新記録並」は確かにひとつの名詞と呼べそうではあるけど、なんか気持ち悪いです。 つまりどこで区切るのが適切かをコンピュータに自動的に判定させるのは難しいわけなんですが、 そこでwikipediaを使います。 wikipediaの各ページは人手で作られているため、その単語（複合名詞）のページが存在すること自体が、ひとつの単語として認めるかどうかを判断する大きな材料になります。 おまけにwikipediaで複合名詞判定（名詞判定でもある）を行っていれば、その後の処理で例えば
MeCab: Yet Another Part-of-Speech and Morphological Analyzer
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2012-01-27 MeCab 0.993 MeCab::Tagger::formatNode()が正しく動いていなかった問題の修正 スタックの消費を抑えるため、ほとんどのローカル変数(配列)をヒープ上に退避 2012-01-14 MeCab 0.992 ソースコード中のTypoの修正 2012-01-14 MeCab 0.991 空文字列もしくは空白文字列を解析した時に解析エラーとなる問題を修正 ユーザ辞書の作成に失敗する場合がある問題を修正 2011-12-24 MeCab 0.99 MeCab::Model, MeCab::Lattice クラスを追加 マルチスレッド環境でのユーザビリティの向上。複数スレッドが同一
mecab + PHP で形態素解析（出現頻度） - 真夜中のプログラミングTips
mecab + PHP で形態素解析をやってみたときのメモです。Yahoo!さんの日本語形態素解析API や mecab PHP 用の拡張モジュールもありますが、windows vista PC にインストールした mecab を直接使用し、その結果をPHPでパースして出現頻度を算出する、ということをやってみました。 - ※もしかしてはまった人も？？ 手元の Windows Vista PC では、mecab を 「C:\Program Files」フォルダ以下にインストールしたところ、mecab を実行できませんでした。「C:\myapp\mecab」のようにスペースを含まないフォルダにインストールしたら実行できました。 - 参考にしたのは以下の人力検索。 PHPについて質問致します。 形態素解析を行うにあたっていくつかの形態素解析エンジンを比較していった結果、 MeCab(http:/
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
Yahoo! の他に、良い感じで特徴語抽出できるモジュールがありました: ふしぎだねブログ
文書の特徴語抽出に Yahoo! デベロッパーズネットワークの「テキスト解析キーフレーズ抽出」API が使えると思いサンプルコードで試行してみました。 テキスト解析サンプルコード http://developer.yahoo.co.jp/sample/jlp/sample3.html 特徴語といえそうな単語が上位にリストされます。 それなりと感じましたが、何となく、今一歩という感じもありました。 また、長文になるとレスポンスが表示されないのは仕様でしょうか？その点も気になりました。 日本を代表する検索企業のものなので、これが決定版になる印象を持っていましたが、そういうものでもないのですね。 この機会に他をあたったら、興味深い内容をまとめているサイトに出会いました。 検索エンジンを使う方法やコーパスとして Wikipedia などを使う方法が紹介されています。 また、先駆者が発信する情報がま
Mac Lion と CentOS と Ubuntu に MeCab をインストールする方法
日本語形態素解析をすることになりました。Yahoo の日本語形態素解析を昔使っていましたが以下の制限があるため、今回私が作りたい Web サイトの目的を達成することができませんでした。 24時間以内で50000件のリクエストが上限 1リクエストの最大サイズを100KBに制限 分割する手もありますが、分割するためのプログラムを書くより MeCab をサーバーにインストールする方が目的を達成するのに速いのと、リクエスト制限というものが無いので1日にたくさんのタスクを処理できると思ったので MeCab を使うことにしました。 ChaSen と MeCab で少し悩みましたが。技術メモ的なモノと気になるモノさんのサイトによると。 形態素解析で日本語をごにょごにょしたいので、mecabを入れてみる。従来はchasenとかを使っていたんだけど、こちらの方がメモリ効率がいいという話を聞いたので試してみる
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
辞書 追加 igo-ruby - EREFYの日記
以前はmecabを利用してプログラムを動かしていたけど、今回はrubyで形態素解析出来るライブラリがあったのでそれを利用することにしました。 ruby-igoでは辞書生成が出来ないのでjavaのigoを利用する javaのIgoのサイト http://igo.sourceforge.jp/ mecab...まぁ、コスト計算方法のサイト http://www.mwsoft.jp/programming/munou/mecab_nitteretou.html このサイトをメインに作業を行った。配布されてるプログラムをrubyに落としたら良いんだけど、そこまでの能力が無い。 http://blog.livedoor.jp/techblog/archives/65828235.html 他にも細々したサイト色々見たけど全部記録してなかったので上記３サイトだけ 作成したプログラムは継ぎ接ぎしただけだ
形態素解析器IgoのRuby版を作った - 猫背ミジンコ
解析結果がほぼMeCab互換のJavaおよびCommon Lispで実装された形態素解析器IgoのRuby版を作りました。 正確にはIgoのエンジン部分をRubyに移植しましたですけれども。 ソース ソースはGitHubに公開。 また、RubyGems.orgにgemを公開してあるので、インターネットに接続している環境ならRubyGemsでインストールできます。 インストール コマンドラインで下記を入力。$ gem install igo-rubyigo-rubyは、別途Igoと同じ解析用辞書ファイルが必要です。(igo-pythonと同じ方式。ただし、igo-pythonの方は辞書ファイルの生成機能も実装予定とのことです。) 解析用辞書ファイルの生成方法については、Igoのページを参照してください。 使い方 Igo::Taggerクラスのコンストラクタに辞書ファイルが入ったディレクトリを
Rubyによる形態素解析エンジンokura 0.0.1をリリースしました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました｡ まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが､いちおう動くレベル*1になったので公開します｡ 注意事項 バージョン0.0.xのうちは､インタフェースや辞書フォーマットは頻繁に変更される予定です｡ ある程度安定したら0.1.0出します｡ 今のところ､Ruby1.9系専用です｡ 取得 gem install okuraでインストールできます｡ ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します｡ 動作確認はMeCab用NAIST辞書で行いました｡ 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
HugeDomains.com
Captcha security check g1g0.com is for sale Please prove you're not a robot View Price Processing
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語解析ツール MeCab, CaboCha の紹介 工藤 拓 (PDF)
g86 has gone.