binWord/blog - IT業界のキーワードを探す

とある事情で、IT関連ニュースで使われる新語を調べてみることにした。 Googleなどのように自前で検索ロボットを使うことはできないから、特定のニュースサイトのバックナンバーをダウンロードして、形態素解析ツールにかけてみればよいのではないかと考えた。さて、どんな言葉がよく使われているのか？ 分析対象とするのは、インプレスのページ（PC Watch、INTERNET Watch、AV Watch、Broadband Watch、ケータイ Watch）、それとZDNNのニュース速報にする。 上記のニュースページから、ダウンロードNinja2を使ってバックナンバーを一括ダウンロード。 ニュース記事には、本文以外にさまざまなリンクが張られているから、これらを除外して本文だけを取り出したい。また、HTMLタグを削除して、プレーンなテキストにする必要もある。これらを、Rubyのスクリプトで記述した。