Webスクレイピング入門 - Articles Advent Calendar 2011 Casual
Webスクレイピングとは？ 例えば、昇天するくらいかわいい猫画像ください : あじゃじゃしたーの猫の画像が欲しいときにどうすればいいでしょうか*1。画像を1つずつ手作業で保存？面倒くさいですね。 そんなときのためのWebスクレイピングです。まずはじめは、Web::Scraperというモジュールを使ってみましょう。 use strict; use warnings; use autodie; use File::Basename; use File::Spec; use LWP::UserAgent; use URI; use Web::Scraper; my $url = 'http://blog.livedoor.jp/chihhylove/archives/3573873.html'; my $scraper = scraper { process '.main img.pict, .
パスワード設定をコードに書かない(Config::Pit) - モダンなPerl入門 - モダンなPerl入門
パスワード設定をコードに書かないようにするには Config::Pit をつかいます。 なぜ必要なの？ アカウント情報が必要なWebサービスを利用するスクリプトを作るとき、アカウントやパスワードをスクリプトのコードに直接書き込むと（ハードコーディング）、そのスクリプトがほかの人に見られてしまうことによりパスワードが漏洩してしまいます。 Config::Pitは、外部ファイルにWebサービスのアカウント情報を格納しておき、スクリプト側で必要なときに、読み出しできるようにします。これにより、スクリプト内にアカウント情報をハードコードすることがなくなり、スクリプト単体でのパスワード漏洩が防げます。 例：コードを配布しようとして、 #!/usr/bin/perl use strict; use warnings; use utf8; use Encode; use WWW::Mechanize;
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
Perl が覚えられて胸もキュンとなるコードを書いてみた - おいちゃんと呼ばれています
なんか Perl でスクレイピングする記事が話題になっているようでして。 -簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記 このブログの著者の人、いいな。と思う、ほんとに。僕も素直でありたいな、と。で、ちょっと遅くなってしまいましたが、便乗してみます。 **本日の教材 ただ、短く○○行で書くとかは得意分野ではないので、おたのしみ画像を手に入れる方向にもっていってみました。次のサイトを教材に。 -なんでもちゃんねる : 胸がきゅんとする女の子の画像 - ライブドアブログ 好みが合わなければ、サンプルコードの URL のところだけ変えてもらっても構いませんし。 **サンプルコード 下記のコードで胸キュン画像を GET できます。 |perl| ! /usr/bin/perl use strict; use warnings; use Web::S
とんでもない美少女ソムリエが現れたので、Web::Scraper で萌え画像をぶっこ抜いてみる - おいちゃんと呼ばれています
本日の話題を全部もっていってる記事がコレ（↓）。 -うちのマンションの隣のベランダで女子高生がセッ○スしてる 無題のドキュメント （いやいや、ちょっと待って。話は最後まで聞いて... m( )m 今回もいたって真面目な、Perl レシピのエントリーですから。） **とんでもない美少女ソムリエが現れた 当該記事のタイトルのせいでこのエントリーは家族に見せられないものになってしまいましたが、誰もタイトルに触れないほどの驚愕の説得力で、美少女たちを解説しています（玄人）。 < 世の中の尻好きの皆さんお待たせしました。尻好きの皆さんに舞い込んで来る、ありきたりなビキニのデカ尻画像に辟易していませんか。私はしています。マジで。 何も分かっていません。本当の尻好きを楽しませる画像と言うのは馬鹿みたいにテカテカの尻をさらす画像なんかではありません。ホットパンツでエロい尻ラインをさりげなく強調する画像なの
Web::Scraper を使ってURL からtitle を含んだ a タグを作成する | ブログが続かないわけ
タイトルの通りです。先日、Emacs でブログを書くときの補助ツールとして、URL から「タイトル付きのa タグを生成する」方法を紹介しました。そのときは、LWP 系が動かないというわけのわからないトラブルがあったため、WWW::Curl を使ったのですが、もともとはURI::Title を使っていました。 [参考] URI::Title が動かなくなったので代替手段を探った | ブログが続かないわけ スクレイピングをするときにはいつでも問題になる文字コードですが、それはここでも例外ではありませんでした。そこで、文字コードの問題を内部的に解決できていて、かついろいろとつぶしが効くWeb::Scraper を使ったほうがいいと教えて頂いたので、それを使うことにしました。 Twitter / トミール: @jun_ichiro URITitleを覚えておく ... @jun_ichiro UR
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書く ブログの投稿ページを解析して、コマンドラインから
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
下心で覚えるエッチな Perl - 若妻サイト「舞ワイフ」をスクレイピングしてみた - おいちゃんと呼ばれています
Web::ScraperとLWP::Simpleを使って画像掲示板的なサイトから画像を頂く | ブログが続かないわけ
今日のCPANモジュール（跡地） 目次
Amazon.co.jp: Perl & LWP: Burke, Sean M: 本
Spidering hacks―ウェブ情報ラクラク取得テクニック101選