クリックだけであらゆるサイトをスクレイピングできるWebサービス「kimono」が凄い | ソフトアンテナ
Webスクレイピングとは、Webサイトから情報を抽出するソフトウェア技術のこと。通常サイトごとにちまちまとプログラムをつくる必要がありますが、現在ベータ中のサービス「kimono」は凄い。ブラウザを使ってクリックするだけで、WebサイトからJSON/CSV形式でデータを抽出する事ができます。 紹介動画ではイマイチなにをしているのか分からなかったので、実際に試してみました。 サインアップとブックマークレットの準備 アカウントを登録してログインするとこの画面が表示されます「kimonify」をブックマークバーにドロップして使えるようにしておきます。 スターウォーズの登場人物の名前と誕生日を抽出 実際にデータを抽出してみましょう。公式ブログ「Never write a web scraper againで使われているスターウォーズのサンプルが分かりやすいです。 まずブックマークレット「kimon
WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記
新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
