Web::Scraper＋Google Analyticsで簡単サイトレポートを作る (CodeZine編集部ブログ)
先日のWeb::Scraperネタがはてブされて恐縮気味の久次です。 私は、編集もやってますが、Webサイト管理者でもあるので、「おい、コラ、今月のサイトのPVどないなっとんねん？」と社内のいろんな人から亀田の父口調で、聞かれることがありますが（ウソですが）、そんなとき、「ボケ、コラ、Google Analytics見んかい、目ぇ節穴か」といっても（ウソですが）、大体の人は、見てくれないわけです。 というか、詳しすぎて見方がわからない、とよくいわれます。まさにGoogleが引き起こした情報のハイパーインフレが今社内に起こっているのです。重要な情報をタダで提供してしまうので、本来の価値が相対的に低くなり、単なるクズ情報に見えてしまう、というこのパラダイム転換。 で、これはまずいということで、Web::ScraperでGAの情報を取得して、すぐに簡単レポートできるスクリプトをつくりました
WWW::Wikipedia::Entry
NAME WWW::Wikipedia::Entry - A class for representing a Wikipedia Entry SYNOPSIS my $wiki = WWW::Wikipedia->new(); my $entry = $wiki->search( 'Perl' ); print $entry->text(); my $entry_es = $entry->language( 'es' ); print $entry_es->text(); DESCRIPTION WWW::Wikipedia::Entry objects are usually created using the search() method on a WWW::Wikipedia object to search for a term. Once you've got an entr
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
WWW::Mechanize::Shell - An interactive shell for WWW::Mechanize - search.cpan.org
NAME WWW::Mechanize::Shell - An interactive shell for WWW::Mechanize SYNOPSIS From the command line as perl -MWWW::Mechanize::Shell -eshell or alternatively as a custom shell program via : #!/usr/bin/perl -w use strict; use WWW::Mechanize::Shell; my $shell = WWW::Mechanize::Shell->new("shell"); if (@ARGV) { $shell->source_file( @ARGV ); } else { $shell->cmdloop; }; DESCRIPTION This module implemen
Web::Scraper - naoyaのはてなダイアリー
Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages. 使ってみたよ! #!/usr/local/bin/perl use strict; use warnings; use FindBin::libs; use URI; use Web::Scraper; use Encode; use List::MoreUtils qw/uniq/; my $links = scraper { process 'a.key
[Perl] del.icio.us のブックマーク登録件数を取得する Perl 関数 Kawa.net Blog（ゆうすけブログ）/ウェブリブログ
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
![[Perl] del.icio.us のブックマーク登録件数を取得する Perl 関数 Kawa.net Blog（ゆうすけブログ）/ウェブリブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f0b7bca46cd8982973dca44e74124b1077874447/height=288;version=1;width=512/https%3A%2F%2Fbblog.sso.biglobe.ne.jp%2Fimg%2Fogp_logo.png){kind=logo}
様々なオンラインブックマークサービスのブックマーク件数を画像ではなくて数値で取得（高機能版）
様々なオンラインブックマークサービスのブックマーク件数を画像ではなくて数値で取得（高機能版） スポンサードリンク Tweet 先日作った「様々なオンラインブックマークサービスのブックマーク件数を画像ではなくて数値で取得」が無駄にパワーアップしました。 無駄にLast-modifiedとか吐くようになり、ブラウザから無駄に問い合わせこないようにしました。 無駄にブラウザからのヘッダのIf-Modified-Sinceと比較して304を吐くようになり、無駄に転送しないようになりました。 無駄にmod_perl環境でも動きます（Apache2のModPerl::Registryで動いています）。 無駄にJSONまたはJSONPを吐くようになりました。ブログパーツ用。 無駄にJavaScriptのdocument.writeを吐けるようになりました。ブログパーツ用。 負荷が気になる場合は、自分の手
LWP - PerlでのWWWアクセスのためのライブラリ: LWPモジュール群のドキュメント ★
2001/6/21：山宮隆さんからの指摘を受けて、余分な「；」を削除しました。 目次 名前 概要 説明 HTTP式通信 Requestオブジェクト Responseオブジェクト ユーザ・エージェント プログラム例 ネットワーク・サポート HTTPリクエスト HTTPSリクエスト FTPリクエスト Newsリクエスト Gopherリクエスト Fileリクエスト Mailtoリクエスト クラスとパッケージの概要 さらなるドキュメント バグ 謝辞 著作権 利用できる場所 名前 LWP - PerlでのWWWアクセスのためのライブラリ 概要 use LWP; print "This is libwww-perl-$LWP::VERSION\n"; 説明 Libwww-perl はWorld-Wide Webへの簡単で一貫性のあるプログラミング･インターフェース(API)を提供するPerlモジュール
ニコニコ動画をスクレイピング & FLV保存するPerlモジュールを作ってみた。 (Re::Monologue)
毎日楽しくニコニコ動画を見ていたら、ランキングデータをテキストデータで取得して自分ランキングを作りたくなりました。そんなときはPerlだなーとかりかり書いていたら、なんだかモジュールっぽいものになりました。折角だから晒してみます。ツッコミ歓迎。 WWW::NicoVideo [pod] 使い方 use WWW::NicoVideo; my $n = new WWW::NicoVideo( 'mail', 'password'); # ランキング情報を取得する my $data = $n->ranking( span => 'weekly', type => 'mylist', all => 1 ); # 任意のタグ一覧情報を取得する my $data = $n->tag( word => '孔明の罠', type => 'view', all => 0, ); # 動画再生ページの情報を取
日記.ニッチャー.JP - Perl/WWW::Mechanizeメモ
使用しているWWW:Mechanizeでの自動レポートのメモ。 佐川急便宅配状況 宅配状況をレポート。 #!/usr/local/bin/perl -w use strict; require 'Common.pl'; our ($mech); my $QUERY_NO1 = "[Your Query No]"; my $PAGE_START = "http://k2k.sagawa-exp.co.jp/cgi-bin/SagawaWeb.pcgi"; $mech->get($PAGE_START); $mech->form_number(1); # 必要に応じて追加 $mech->field(no01 => $QUERY_NO1); $mech->submit(); add_report($mech->content()); send_report("Sagawa", "SHIFT_JI
Big Sky :: WWW::MechanizeとXPathでtwitterのfriendsを全部取ってみる
« Google Search History RSSはUser-Agentを見てencodingをISO-8859-1に決め打ちする | Main | Re: Web::Scraper 0.15とcisco_scraper.pl » twitterのAPIでfriendsが100件しか取れなくなって久しいですが... WWW::MechanizeとXPathでtwitterの全friendsを取得するサンプル作ってみました。 あまりやり過ぎると、オフィシャル側に怒られそうな気もしますが... 後の使い方は、適当で... #!/usr/local/bin/perl use warnings; use strict; use LWP::Simple; use XML::Simple; use WWW::Mechanize; use HTML::TreeBuilder::XPath; use
Web::Scraper を XML::LibXML で爆速にする hack! - woremacxの日記
id:miyagawa さんの Web::Scraper で、HTML::TreeBuilder::XPath の代わりに XML::LibXML を使うととても幸せになれそうなので実験してます。XML::LibXML に手を出す前に IRC で「tinyxpath とか htmlcxx とか使って xpath 周りを高速にしたい」とかボヤいてことがありました。そのときに、id:vkgtaro さんや id:tomyhero さんに激しく libxml や XML::LibXML をオススメされました。libxml をオススメしてもらえてなかったら、確実に路頭に迷ってました。以下が、変更したファイルと差分です。http://pub.woremacx.com/Web-Scraper/Scraper.pmhttp://pub.woremacx.com/Web-Scraper/Web-Scrap
はこべにっき# - Flickrから素敵な壁紙を自動で収集
ネタフルのFliclkrで壁紙を探そう！を読んで、このWallpaperグループからずるずると壁紙をひっぱってきて使えたら素敵じゃないかと思ったので、そんなPerlスクリプトを書いた。 $ perl flickr_collect ~/Desktop/flickr_wallpapersとかやると、指定したディレクトリにFlickrの Wallpapers (1024x768 minimum)グループの最新壁紙30件をダウンロードしてくれる。 画像サイズは、だいたい指定した壁紙サイズに近いやつを落とすようになってるので、とんでもなく大きかったり小さかったりする画像は落ちてこないようになっている。ダウンロードする壁紙の枚数やサイズは、スクリプト内のの定数を変更すればできる。 あとは、煮るなりやくなり。Cronでまわせばどんどん新しいのがおちてくるようにできるし、Mac OS Xではディレクトリを
Spidering hacks―ウェブ情報ラクラク取得テクニック101選 : 無限遠の子供たち
Spidering hacks―ウェブ情報ラクラク取得テクニック101選 楽天ブックス→Spidering hacks―ウェブ情報ラクラク取得テクニック101選 価格(新品) : ￥ 3,675 ユーズド : ** 定価 ￥ 3,675 通常24時間以内に発送 [単行本] [2004-05] ASIN: 4873111870 アマゾン売り上げランキング16160 位。 著者 : 村上 雅章 Kevin Hemenway Tara Calishain クリエーター : Kevin Hemenway Tara Calishain レーベル : オライリー・ジャパン 製造元 : オライリー・ジャパン 高さ : 126cm サイズ : 827cm 重量 : 163kg 幅 : 591cm 出版社 : オライリー・ジャパン スタジオ : オライリー・ジャパン 詳細を見る
HTMLをスクレイピングして解析(パース)する - まるさんかくしかく Tech学習と入門ログ
Twitter Facebook B! Bookmark LINE Pocket Feedly HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。 PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。 以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。 PHPでスクレイピング＆パース HTMLを整形式のXML文書に修正するPHPクラス HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Powerbrowsing v1.2.1 (En) | PDF | Proxy Server | Web Server
perl-mongers.org
数列辞典
技林ブログ: pixivのランキングRSS配信スクリプト作ってみた