簡単！たった１行のコードでWebページを取得するPerlスクリプト · DQNEO日記
コマンド１発で、ヤフーのトップページを取得する！ Perlを使うと、たった１行のコード（というかコマンド）でウェブページのHTMLを取得できます。 しかも、LinuxでもWIndowsでも全く同じコマンドで動作します。 Linux系の場合 $ perl -MLWP::Simple -e " print get 'http://yahoo.co.jp' " Windowsの場合（コマンドプロンプトで下記を入力) > perl -MLWP::Simple -e " print get 'http://yahoo.co.jp' " 実行結果 Wide character in print at -e line 1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/
Webを進化させるスクレイピングのセオリー
WebAPIだけに頼る必要はない。HTML構造を解析し、さらに情報集約や付加情報を加えたまとめサイトを作る。この特集は、Webをさらに使いやすくするためのガイドだ。 第1回目では、マッシュアップできないならば、スクレイピングすればよいと説明した。それでは、具体的に、どのようにスクレイピングすればよいのか。今回は、スクレイピングの考え方と技法を説明していこう。 CSSの普及で、容易になったスクレイピング 実際に、ほかのサイトにあるHTMLをスクレイピングする場合、次の処理の流れとなる。 1）サーバからHTMLデータを取得する これは単純に、HTTP通信してHTMLデータを取得する操作である。例えばPerlであれば、LWP（libwww-perl）を利用すればよいだろう。もっと簡単に、UNIXに付属のwgetコマンドやfetchコマンドを使ってもよいはずだ。 2）HTMLから取り出したいデータ
小飼弾のアルファギークに逢いたい：#13 シックス・アパート 宮川達彦｜gihyo.jp … 技術評論社
今回の対談相手は、シックス・アパート（株）勤務で、現在サンフランシスコ在住の宮川達彦さん。本誌でも連載や特集でこれまで何度もご執筆いただいていますが、渡米して数年、アメリカでの生活はどんな感じなのでしょうか？ 左：宮川達彦氏、右：小飼弾氏（撮影：武田康宏） 経歴 弾：お久しぶりです。 宮川（以下、宮）：お久しぶりです、どうも。 弾：最初に、あらためて簡単な経歴を。 宮：東京大学の理学部情報科学科でコンピュータサイエンスの勉強をしていて、2年のときにオライリー・ジャパンでバイトを始めました。そのときはコンピュータというより事務系の仕事で、4年になったときにオン・ザ・エッヂ[1]でアルバイト。それが1999年。上場前で、弾さんが入る…。 弾：前ですよね。そう、先輩なんですよ、オン・ザ・エッヂでは。 宮：僕が2ヵ月くらい前に入って。それから5年くらいライブドアにいて、2005年からシック
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
「CPANモジュールガイド」ｘ perl-casualでライブコーディングしてきた - D-6 [相変わらず根無し]
「CPANモジュールガイド」ｘ perl-casualでライブコーディングしてきた 2011年4月29日 20:41 D | ブログ記事のURL | コメント(0) | トラックバック(0) @tomitaさんが書いた「CPANモジュールガイド」の刊行記念ということで池袋のジュンク堂本店で話して・・・もとい、コードを書いてきました。普段は滅多にこういう場に現れない「初めてのPerl」や「プログラミングPerl」の翻訳者である近藤嘉雪氏がもう一人のゲスト。司会がもはや技術界のタモリと化しつつある@yusukebe。あと@941さんがスタッフとして手伝いに来てくれました 近藤さんを見られるというだけでも実はすごいイベントだった気がする。ちなみに近藤さんは出番直前まで頑張ってスライドを書いていて、そのおかげで話にクロージャが含まれたそうです！ こちらは@tomitaさんが書いた店頭POP。「Pl
Perl入門ゼミ
Perlプログラミングを学びたい人向けのPerl入門講座です。 Perlはテキスト処理に最適化されたプログラミング言語です。Linuxシステム管理、Web開発という分野でも大活躍。後方互換性、ライブラリの安定性、数多くのOSサポートに定評があります。 Perl入門 PerlのインストールPerlのインストール方法を解説。Windows、macOS、Unix/Linux対応。 基礎文法最速マスターPerlプログラムの基本のすべて 文字列処理Perlは文字列処理が得意。文字列の連結や文字列関数などを解説 if文による条件分岐if、elsif、elseの条件分岐の構文をマスターすれば、条件で処理を変えるPerlプログラムが書ける。 for文、while文による繰り返しfor文、while文と繰り返し構文を覚えれば、Perlで繰り返し実行する処理が書けるようになります。 正規表現正規表現を覚えると
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
下心で覚えるエッチな Perl - 若妻サイト「舞ワイフ」をスクレイピングしてみた - おいちゃんと呼ばれています
Web Scraper Shibuya.pm tech talk #8
Perl基礎入門 : KENT-WEB