プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
アメッシュの画像を解析して、家に雨雲が近づいたら通知するツールを作った - taiyoh's memorandum
まあ、タイトルの通りなんですが。 アメッシュの監視ってだけなら他に作ってる人がいるっぽいのですが、僕がやったのは、エリアごとに緊急度を付けて、家に雨雲が近づけば近づくほど緊急度が上がってるというのが分かるようになってます。 これって要は、目標のポイントを中心とした円を何枚か用意しておき、それらの画像を１枚ずつ突き合わせてアメッシュの降水の様子を示した画像を論理積（AND）で重ねた時、ピクセルが残るかどうかによって、画像に応じた緊急度を判別させよう、ってことですね。そして気づいたら、imagemagickを使う場所が全部system関数を叩くようになってて、とても泣きそうです。でも、plenv等でPerlMagick入れるのめんどいし、他の処理をシェルスクリプトで書くのも自信ないんだもん。。。 今になって色々考えてみたらすごい富豪的な探索方法なので、他の人も使えるようなサービスとしての設計に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソニック速報
