タグ

ブックマーク / blog.takuros.net (3)

  • プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい

    Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー/スクレイピングをオンラインで実行できるWebサービス(SaaS)です。クローラーを書いておいて何ですが、9割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。(書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後) kimonolabsとは? kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン

    プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
  • 開発用プロキシ、「CocProxy」が便利 - プログラマでありたい

    CocProxyというツールがあります。名前の通りプロキシサーバーなのですが、用途が開発用です。置換プロキシと言うらしいですが、これがとっても便利です。例えば、クローラーの開発や、HTML,CSS,JavaScriptの修正をする際に、このCocProxyを利用するとダウンロード待ちのイライラが解消され、効率アップ間違いなしです。ローカルのみで完結するのと、Webへのアクセスが必要とするのでは、スピードが数十〜数百倍違います。一回だけでみたら、数百ミリSecの差ですが累積で考えると大きいですよ。 CocProxyとは? Ruby製のProxyServerです。かつ標準ライブラリで動くことを目標としているので、Rubyの環境があれば、ダウンロードして直ぐに使えます。また基的には1ファイルで完結するので、導入も簡単です。Ruby1.9をベースにしていますが、Ruby 2.0でも特に問題なく動

    開発用プロキシ、「CocProxy」が便利 - プログラマでありたい
  • 掃除機は、ダイソンよりルンバさんより、マキタの充電式クリーナー - プログラマでありたい

    小さな子供がいるので、事の時にパンくずなどをボロボロとこぼして家族のストレスの一因となっていました。そんな時に勧められて購入してみたのが、充電式クリーナーです。これが中々良かったです。勧めてくれた人は、以下の3点を強調していました。 充電式クリーナーのお勧めのポイント 軽くて使いやすい 手軽に使えて便利 ちょこっと使いが出来る まず軽さですが、重さが1kgと片手で簡単に扱えるレベルです。一般的な掃除機は3〜4kgが主流なので、それに較べて格段に軽く感じます。次に手軽さ。軽いということに加えて、コードレスというのが大きいです。従来だと、掃除機を運んで電源コードを挿して、別の部屋を掃除する時はまた電源コードを挿し直してという手順が必要でした。それが、コードレスだとささっと掃除出来ます。思った以上に便利です。 そして、最後のちょこっと使いが出来るという点ですが、上記2点の結果です。軽くて手軽な

    掃除機は、ダイソンよりルンバさんより、マキタの充電式クリーナー - プログラマでありたい
    demise
    demise 2013/11/22
  • 1