こんにちは、okaneyaです。 大学・大学院では土木工学を専攻し、この春卒業してインターネットサービスの会社に就職しました。この組み合わせは珍しいようなので、こちらの世界に来て戸惑ったことや考えたことについて書いてみようと思います。 「一旦リリースしてみよう」の文化に当惑した インターネット業界に来て一番当惑したのが、「完成形じゃなくても、一旦世に出してみる」ことができる点です。 橋やダムを「強度が不安だけどとりあえず作ってみようか〜」と言って作ることは絶対に許されません。人が死にます。然るべき手順を踏んで、多くの組織や人が関わって、綿密な計画の上にようやく着工のGOサインが出ます。 一方自分が今関わっているwebサービスは、最初から完璧に作り込まなくても仮説を検証するのに十分なだけのものがあればとりあえずリリースすることができます。まずは最小機能のサービスを作って、人に使ってもらって反

クローラー／スクレイピング Advent Calendar 2014の12月20日です。 タイトルに書いてあることが全てではありますが、いちおうスクレイピングするにあたっての事を。 スクレイピングする時のアプローチとして、大きく2つあると思います。 1つは、完全にテキストとして正規表現で抜き出してくる方法。 もう一つが、HTMLをパースしてXPathやそれに似た(CSSのセレクタ)構文で取得する方法。 今回は後者のパースして取得する方法について書きます。 なぜパースする必要があるのか世の中のHTMLは汚い。CMSを使っていたとしても汚い。 タグがグチャグチャです。 グチャグチャのタグの構造からXPathで取得しようとすると、思った動作をしないことが多々あります。 なので、一旦パースをして、きちんとした構造を使わないと痛い目を見ることがすくなくありません。 どのパーサを選ぶべきなのかHTML