Web::Scraper＋Google Analyticsで簡単サイトレポートを作る (CodeZine編集部ブログ)
先日のWeb::Scraperネタがはてブされて恐縮気味の久次です。 私は、編集もやってますが、Webサイト管理者でもあるので、「おい、コラ、今月のサイトのPVどないなっとんねん？」と社内のいろんな人から亀田の父口調で、聞かれることがありますが（ウソですが）、そんなとき、「ボケ、コラ、Google Analytics見んかい、目ぇ節穴か」といっても（ウソですが）、大体の人は、見てくれないわけです。 というか、詳しすぎて見方がわからない、とよくいわれます。まさにGoogleが引き起こした情報のハイパーインフレが今社内に起こっているのです。重要な情報をタダで提供してしまうので、本来の価値が相対的に低くなり、単なるクズ情報に見えてしまう、というこのパラダイム転換。 で、これはまずいということで、Web::ScraperでGAの情報を取得して、すぐに簡単レポートできるスクリプトをつくりました
WWW::Mechanize::Shell - An interactive shell for WWW::Mechanize - search.cpan.org
NAME WWW::Mechanize::Shell - An interactive shell for WWW::Mechanize SYNOPSIS From the command line as perl -MWWW::Mechanize::Shell -eshell or alternatively as a custom shell program via : #!/usr/bin/perl -w use strict; use WWW::Mechanize::Shell; my $shell = WWW::Mechanize::Shell->new("shell"); if (@ARGV) { $shell->source_file( @ARGV ); } else { $shell->cmdloop; }; DESCRIPTION This module implemen
C-Production – UNIXとプログラミングの備忘録
大変ご無沙汰です。約1年半ぶりの更新です。 昨日、ブログを設置しているサーバでOSのアップデートに問題が発生したため、これを機に新サーバ・新OSに乗り換えることにしました。 現在のブログがマルチサイトのため、そのままでは新サーバの構築に苦戦すると予想されるため、他のブログの記事を統合しました。 統合内容は以下の通りです。 ・C-Production ・・・ メインサイトのため、他のブログを吸収して継続。 ・♪8thNote♪ ・・・ メインサイトに統合済みだったので、削除。 ・モバイル魂 ・・・ メインサイトに記事を引き継ぎ、並行稼働中。 ・無線のドキュメント ・・・ もともと閉鎖予定だったので、そのまま削除 外部SNSのアカウントについてはそのまま継続します。 今後ともよろしくお願いします。
URIモジュールにutf8フラグつきの文字列を食わせたらquery_formのエンコードが化けたでござるの巻 - とあるモバイル系エンジニアの日々
タイトル長い。っていうかそのまんまです。 #!/usr/bin/perl use strict; use warnings; use URI; my $s = 'http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4'; utf8::upgrade($s); my $uri = URI->new($s); my %qf = $uri->query_form; $qf{flag} = 'ON'; $uri->query_form( %qf ); my $uri_str = $uri->as_string; これ、一見すると$uri_strは http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4&flag=ONになりそうなんですが、実際には http://example.com/?q=
WWW::Mechanize 文字化けにはまる。 - wajiho’s memo（実はよくわかっていない）
やりたいことはとっても簡単なことで、googleで検索して結果を取得・表示させるだけ。 なのに文字化けしてすごい躓いたよ。。。 Mech使ってやって見ました。 use WWW::Mechanize; my $mech = WWW::Mechanize->new; my $url = 'http://www.google.co.jp'; $mech->get( $url ); $mech->success or die $mech->response->status_line; $mech->submit_form( fields => { q => 'ヤングジャンプ', } ); my @links = $mech->find_all_links( class => 'l' , ); my @texts = map { $_->text } @links; foreach my $text
perl-mongers.org - このウェブサイトは販売用です！ - perl mongers リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
図書館の所蔵状況をスクレイピングするスクリプトをWWW::Mechanize::Pluggableを使って書いてみた - natu_nの日記
以前に図書館の所蔵状況を拾ってくるスプリプトをWeb::Scraperを使うように書き換えるという記事を書いたが、今回更に一歩進んでWWW::Mechanize::Pluggableを使うように書き換えてみた。 WWW::Mechanize::PluggableはWWW::MechanizeからWeb::Scraperを動かすモジュールでなぜ使うかというと、なにかの呪文のような長い長いクエリ文字列を固定で持ちたくないのとTOPページからゴリゴリと掘っていかないとクエリが組み立てられないサイトを楽にスクレイピングしたいのが目的。 今回は長いクエリを楽にする方を 以前は一段階目の検索を行うのに 〜略〜 # 冗談のような長い呪文 Readonly my $QUERY_URL_PREFIX => 'https://library.city.iwaki.fukushima.jp/wehome/we/
Big Sky :: WWW::MechanizeとXPathでtwitterのfriendsを全部取ってみる
« Google Search History RSSはUser-Agentを見てencodingをISO-8859-1に決め打ちする | Main | Re: Web::Scraper 0.15とcisco_scraper.pl » twitterのAPIでfriendsが100件しか取れなくなって久しいですが... WWW::MechanizeとXPathでtwitterの全friendsを取得するサンプル作ってみました。 あまりやり過ぎると、オフィシャル側に怒られそうな気もしますが... 後の使い方は、適当で... #!/usr/local/bin/perl use warnings; use strict; use LWP::Simple; use XML::Simple; use WWW::Mechanize; use HTML::TreeBuilder::XPath; use
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
URI::Query
Spidering Hacks
perl版成分解析 - おもてなしの空間
Spidering hacks―ウェブ情報ラクラク取得テクニック101選