プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
☆ Yahoo!Pipes用語メモ・Link集 その1 [Source] [Operators]編 - T’s blog
[Source] ◆Fetch CSV Fetch CSV(CSV抜き取り）モジュールは他のYahoo! Pipesより多くのオプションを備 えている 。 参照 http://d.hatena.ne.jp/dacs/20080325/1206446964 ◆Feed Auto-Discovery RSSフィードがウェブサイトのどこに置かれているかを探し回るフィード自動発見モジュール。 参照http://d.hatena.ne.jp/dacs/20080324/1206362177 ◆Fetch Feed 任意のRSSのURLを指定しそれをソースとすることができる基本的なSourceモジュール。 複数のRSSを一つのモジュールで登録できる。 ◆Fetch Data RSSだけでなくXMLデータやJSONデータを入力させる事ができるSourceモジュール。 ◆Fetch Page 任意のウェブ
![☆ Yahoo!Pipes用語メモ・Link集 その1 [Source] [Operators]編 - T’s blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f0ad5b17c89055ef98342cc6c6428873e6c2ccc/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftomi_kun%2F20101102%2F20101102094633.png)
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
