Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
29歳の時に二人で会社を立ち上げて、2年が経過した感想
現状は悲惨だ。 自分は正確に言うと立ち上げメンバーで IT会社として、社長と自分の二人でスタートした。 社長とは元同僚でうまがあい、 仕事上でも気兼ねなくやれる間柄だった。 立ち上げた目的は、自分たちの実力がついたことやお客さんがついてきた事から 多くの金を、楽しく稼げそうだ。という単純なものだった。 立ち上げる前は30万の給料に 一般的な福利厚生がある会社員だった。 立ち上げてからは20万円の給料に 福利厚生はなにもなくなった。 サービス残業の毎日で 休日は3分の1になった。 会社に最初から資本は少なく 案件の利益率も低かった。 案件数も多いとは言えず 業務の範囲も拡大した。 給料が10万以下や、 なにもだせない時もあった。 経費を自分で持つことが多く 激務の結果、赤字の月もあった。 でも楽しかった。 事実上、自分で責任を取らざる得ない環境なため 責任の範囲内を自分の意思で自由にできたか
JavaScript Patterns
A JavaScript pattern and antipattern collection that covers function patterns, jQuery patterns, jQuery plugin patterns, design patterns, general patterns, literals and constructor patterns, object creation patterns, code reuse patterns, DOM and browser patterns (upcoming). Patterns collected while developing 喜感网. General Patterns Function Declarations - creating anonymous functions and assigning t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
