「似ている」を探そう
今日から8月ですね！我が家の猫も夏毛に生え替わるようで、私も毛だらけです。志田です。 さて、今回は「似ている」を探したいと思います。なにかとなにかがどのくらい似ているのか、という情報があれば、それが役に立つシーンはたくさんありますよね。 ブログの似ている記事を探したり、趣味の似ているユーザを探したり、用途は様々です。 「何が似ているのか」という尺度にも様々あるように、類似度というのはいろいろな観点から調べることができます。 今回は、アシアルブログから似ている記事を探してみたいと思います。 手順としては、Mecabというライブラリを使って記事を形態素解析し、単語に分けます。 そして、元となる記事とその他の記事全体を見て、コサイン類似度という手法を用いて記事同士の類似度を測定し、似ている記事を3件見つけます。 (1) ブログ記事を取得する ブログ記事を取得し、ディレクトリに保存しておきます。
類似画像検索システムを作ろう - 人工知能に関する断創録
C++版のOpenCVを使ってカラーヒストグラムを用いた類似画像検索を実験してみました。バッチ処理などのスクリプトはPythonを使ってますが、PerlでもRubyでも似たような感じでできます。 指定した画像と類似した画像を検索するシステムは類似画像検索システムと言います。GoogleやYahoo!のイメージ検索は、クエリにキーワードを入れてキーワードに関連した画像を検索しますが、類似画像検索ではクエリに画像を与えるのが特徴的です。この分野は、Content-Based Image Retrieval (CBIR)と呼ばれており、最新のサーベイ論文（Datta,2008）を読むと1990年代前半とけっこう昔から研究されてます。 最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定するそうですが、今回は、もっとも簡単な「色」を用いた類似画像検索を実験してみます
kenichiro @ ウィキ - Jaccard係数
Jaccard係数は二つの集合の共起の度合い、つまりどのくらい似ているかを表す。 ここでとの二つの集合があったとき
PHPで文字間の距離を測る関数「similar_text」が便利:phpspot開発日誌
PHP: similar_text - Manual PHPで文字間の距離を測る関数「similar_text」が便利。 私はずっとこの関数の存在を知らなかったのですが、similar_textという関数がPHP4から標準で存在するようでした。 使い方は簡単で、similar_text( 文字列1 , 文字列２, 類似度 ); のように実行すると、マッチした文字の数が返るみたいです。 例えば、サンプルコードを見てみましょう $words = array( 'psp', 'javascript', 'php', 'spot', 'twitter' ); $matches = array(); foreach ($words as $word) { $c = similar_text('phpspot', $word, $percent); echo 'phpspot と '.$word.'
PHPで2つの文章の類似度を計算する - ぱふぅ家のホームページ
0013: /** 0014: * N-gramを求める 0015: * @param string $str 対象テキスト 0016: * @param string $n N数 0017: * @param string $ngrams N-gramを代入する配列 0018: * @return N-gramの数／FALSE:入力パラメータの異常 0019: */ 0020: function get_ngram($str, $n, &$ngrams) { 0021: $str = preg_replace("/[ \t\n\r ]+/um", '', $str); 0022: $len = mb_strlen($str); 0023: if ($len <= 0 || $len <= $n) return F
livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
String::Trigram
NAME String::Trigram - Find similar strings by trigram (or 1, 2, 4, etc.-gram) method SYNOPSIS use String::Trigram; Object Oriented Interface my @cmpBase = qw(establishment establish establishes established disestablish disestablishmentarianism); my $trig = new String::Trigram(cmpBase => \@cmpBase); my $numOfSimStrings = $trig->getSimilarStrings("establishing", \%result); print "Found $numOfSimStr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
