Guest post by Makoto Inoue, a Japanese ScraperWiki user はじめに みなさんスクレイプ(Scrape)という単語はご存知でしょうか? ウェッブページから特定のデータを引っこ抜く作業のことをスクレイピング(Scraping)と呼びます。 昨今のホームページではデータを簡単に提供するためのAPI(Application Programming Interface)というしくみが多いので「なんで今更そんなの必要なの」と思われる方>も多いかもしれません。しかしながら前回起きた東日本大地震の際、地震や電力の速報や、各地の被害状況を把握するために必要な政府の統計情報などがAPIとして提供されておらず、開発者の中には自分でスクレイパー(Scraper)用のプログラムを書いた人も多いのではないのでしょうか? ただそういった多くの開発者の善意でつくられた
なでしこジャパンやら政変やらで一喜一憂していた夏も終わりますね。という訳でこんにちは。今年の夏もバカンスともロマンスとも縁の無かった Mariyudu@セミの抜け殻状態、です。 さて先日、Web ページスクレイピング処理関連の作業をしていて、前に某ブログさんで知った ScraperWiki なるサービスを思い出し、道草というか、少し試してみることにしました。 ScraperWiki とは ScraperWiki ってのは、文字通りスクレイピングプログラムを共有することで、Web 上にある有用なデータを皆で共有して幸せになろう、って主旨のサービスらしいです(About ページを参照のこと)。以下のような特徴があります。 Web ページ内のエディタ上でスクレイピング処理のプログラムを書いてトライ&エラーで実行きる。 プログラム言語は Python, Ruby, PHP から選べて、それぞれスク
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ(Web ページをスクレイピングするスクリプト)とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります: Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える(HTML パーサなどのモジュ
Come scrape with us! Watch how you save your scraped data to our shiny new datastore
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く