Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
ひとり開発ブログ | » ロボット投稿型スパムをさくっと防ぐ超簡単な方法
なんと、このideamiというしょぼいサイトにも海外からのロボット投稿型スパムが来るようになってしまいました。悲しい。 何とか対策をしようと思っていたところ、dotliveのオカダ君がいい方法を教えてくれました。（Thanks!） やり方は簡単。 ロボットスパムは、htmlのソースからformを見つけ、そこにデータを自動的に入れて投稿しているわけです。その投稿の仕方は単純で、どうやらnameでよく使われるような単語を見つけて、それに投稿しているぽい。 たとえば、「name」は名前、「mail」はメール欄、「url」はurl入力欄、みたいな感じです。 今回の対策では、これを逆手に取ります。つまり、偽物のフォームを作り、それに入力があるもの＝ロボットによる投稿、と見なし、投稿させないというものです。 偽物のフォームを作り style=”display: none” しておいて、ユーザーには見
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Open Web Design - Download Free Web Design Templates
