WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記
新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お
asahi.com（朝日新聞社）：図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕 - ネット・ウイルス - デジタル
愛知県の岡崎市立図書館のホームページに集中的にアクセスし、閲覧しにくくしたとして、愛知県警は２５日、ホームページ作成会社社長中川圭右（けいすけ）容疑者（３８）＝同県知立市東長篠１丁目＝を業務妨害の疑いで逮捕し、発表した。 県警生活経済課と岡崎署によると、中川容疑者は、４月２日から１５日にかけて、岡崎市立中央図書館のホームページに、計約３万３千回のアクセスを繰り返し、ホームページを閲覧しにくい状態にした疑いがある。 同図書館のホームページ管理用サーバーには、３月中旬からの約１カ月間に、中川容疑者の自宅のパソコンなど特定の端末から計約６万４千回のアクセスがあり、その影響でホームページの閲覧は２１回停止されていた。 同課によると、中川容疑者は１回ボタンを押すだけで、１秒に１回程度の速度でアクセスを繰り返せるプログラムを作っていたという。中川容疑者は同図書館の利用者だったが、目立ったトラブル
twill でWebサイトをオートパイロット (+ easy_installのススメ) - 玉虫色に染まれ!!
今日は、個人的な理由で、Webサイトを自動巡回するためのソフトを作る……ための前準備として、 twill をインストールしましたので、その紹介とインストール方法のメモです。 Pythonモジュールのインストールには easy_install を使いました。easy_install は、たまに野良のPythonパッケージをインストールする機会がある人は、覚えておいて損のないモジュールです。 twill とは twill は、コマンドラインインターフェースでWebサイトをクロールするための簡易言語です。 言語の利用例は 公式サイト の examples を見ていただければわかるかと思いますが、例えば「特定のサイトを開くと表示されるフォームにユーザーIDとパスワードを入れてログインボタンを押し、次の画面の検索フォームに特定のキーワードを入れて検索ボタンを押した結果表示されるリンクの1番目をクリッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/04/q4m_crawler.php
