タグ

2014年1月1日のブックマーク (2件)

  • 2014年の世界をちょっと予想する - finalventの日記

    あけましておめでとう。今年もよろしくお願いします。 Une bonne et heureuse année ! 2014年の世界をちょっと予想する。といっても、フィナンシャルタイムズ(FT)が今年の世界予測をしていて、ふむふむと読んだのでそれの感想をちょっと書くくらいのこと。 今年の欧州議会選挙で反EUの極小政党は議席数を大幅に伸ばすか? FTの予想は、イエス。5月に予定されている欧州の議会選挙で、極右・極左など反EU勢力が劇的に躍進するだろう。特に気になるのが右派政党で、FTはフランスの国民戦線(FN)、英国独立党、ギリシャの急進左翼連合(SYRIZA)、そしてオランダの自由党を挙げている。 このブログでの最近の関連記事は「フランスでロマの女学生が学校で拘束され強制送還された事件の意味」(参照)に書いた。 これをフランスがどのように解消していくのかは注目されるが、現状のオランド政権の対応

    2014年の世界をちょっと予想する - finalventの日記
  • Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる! - 病みつきエンジニアブログ

    今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと

    Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる! - 病みつきエンジニアブログ