livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
String-Random-0.22 - Perl module to generate random strings based on a pattern - metacpan.org
Unicode-String-2.10 - String of Unicode characters (UTF-16BE) - metacpan.org
String-Format-1.17 - sprintf-like string formatting capabilities with arbitrary format definitions - metacpan.org
IO-String-1.08 - Emulate file interface for in-core strings - metacpan.org
ShiftJIS-String-1.11 - functions to manipulate Shift-JIS strings - metacpan.org
Data-Random-String-0.03 - This is a module for generating random strings - metacpan.org
String-Diff-0.07 - Simple diff to String - metacpan.org
