Googleのヒット件数は当てにならない - アスペ日記
（2013/11/08: 補足を書きました。Googleのヒット件数について（続き）） 「Googleの検索件数は当てにならない」と言うと、多くの人は「何をいまさら」という反応かもしれません。 当てにならないことぐらいわかってるよ、と。 でも、「当てにならない」でイメージするものがどの程度かは人によって違うと思います。 結果が2倍ぐらい違ったりする、程度に思っている人もいるかもしれません。 しかし、実際はそんなレベルでの話ではありません。 「本当は50件なのに500,000件と返ってくる」ようなことも珍しくありません。 たとえば、ツイッターで見たネタなのですが、"無い内定式" というキーワードで検索してみます。 267,000件。 多いですね。 ここで、10ページ目をクリックすると、次のようになります。 「59 件中 6 ページ目」*1 一気に4桁も減ってしまいました。 どちらが本当の数字
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた
テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた 2009-07-05-3 [Programming][YahooHacks][NLP] Yahoo!デベロッパーネットワーク(YDN)にキーフレーズ抽出APIが登場しました。 テキストを渡すとそこに含まれる重要そうなフレーズを抽出してくれるAPIです。 公開から一ヶ月ほど経っていて目新しさはないのですが、ハックしてみたのでご報告。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html - キーフレーズ抽出API の紹介 (Yahoo!
Ubuntu 10.04でMeCabをRubyから使えるようにする - ぬいぐるみライフ？
MeCabのインストール MeCabと辞書のインストールはapt先生にお任せします．辞書はUTF-8のものを使います． $ sudo apt-get install mecab mecab-ipadic-utf8MeCabが正常に動くことを確認します． $ echo "俺、この戦争が終わったら結婚するんだ。" | mecab 俺 名詞,代名詞,一般,*,*,*,俺,オレ,オレ 、 記号,読点,*,*,*,*,、,、,、 この 連体詞,*,*,*,*,*,この,コノ,コノ 戦争 名詞,サ変接続,*,*,*,*,戦争,センソウ,センソー が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 終わっ 動詞,自立,*,*,五段・ラ行,連用タ接続,終わる,オワッ,オワッ たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ 結婚 名詞,サ変接続,*,*,*,*,結婚,ケッコン,ケッコン する 動詞,
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
形態素解析器IgoのRuby版を作った - 猫背ミジンコ
解析結果がほぼMeCab互換のJavaおよびCommon Lispで実装された形態素解析器IgoのRuby版を作りました。 正確にはIgoのエンジン部分をRubyに移植しましたですけれども。 ソース ソースはGitHubに公開。 また、RubyGems.orgにgemを公開してあるので、インターネットに接続している環境ならRubyGemsでインストールできます。 インストール コマンドラインで下記を入力。$ gem install igo-rubyigo-rubyは、別途Igoと同じ解析用辞書ファイルが必要です。(igo-pythonと同じ方式。ただし、igo-pythonの方は辞書ファイルの生成機能も実装予定とのことです。) 解析用辞書ファイルの生成方法については、Igoのページを参照してください。 使い方 Igo::Taggerクラスのコンストラクタに辞書ファイルが入ったディレクトリを
Rubyによる形態素解析エンジンokura 0.0.1をリリースしました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました｡ まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが､いちおう動くレベル*1になったので公開します｡ 注意事項 バージョン0.0.xのうちは､インタフェースや辞書フォーマットは頻繁に変更される予定です｡ ある程度安定したら0.1.0出します｡ 今のところ､Ruby1.9系専用です｡ 取得 gem install okuraでインストールできます｡ ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します｡ 動作確認はMeCab用NAIST辞書で行いました｡ 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
