Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
大量虐殺を加害者視点でとらえた衝撃のドキュメンタリー、14年4月公開 : 映画ニュース - 映画.com
衝撃のドキュメンタリー「アクト・オブ・キリング」［映画.com ニュース］ 米テキサス出身の映像作家ジョシュア・オッペンハイマーが手がけ、各映画祭を席巻している長編ドキュメンタリー「The Act Of Killing」が、「アクト・オブ・キリング」として2014年4月に劇場公開されることが決定した。インドネシアで行われた大量虐殺を加害者の視点でとらえ、人間の深層をあぶりだした衝撃作として話題を呼んでいる。 1960年代、秘密裏に100万人規模の大虐殺を行っていた実行者は、現在でも国民的英雄として暮らしている。人権団体の依頼を受けたオッペンハイマー監督は、当局から被害者への接触を禁止されたことをきっかけに、加害者に取材を敢行。映画製作に喜ぶ加害者は、オッペンハイマー監督の「カメラの前で自ら演じてみないか」という提案に応じ、意気揚々と過去の行為を再現していく。やがて、過去を演じることを通じて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
