なんちゃってクローラーでURL漁り - pomo123の日記
前のエントリ XvfbとFirefoxとImageMagickでWebページのサムネイルを自動生成する方法 - pomo123の日記 でWebページのサムネイルを自動的に取得できるようになったので、今度はサムネイルを作成するWebページのURLを自動的に漁ってくるなんちゃってクローラーを作ってみます。クローラーについてはまったくの素人なので、本当に作ってみただけになっております。 概要 出発点となるURLを与えてやると、そのページをダウンロードして、HTMLを解析してページに含まれるリンクを抽出します。抽出したリンクは取得すべきURLリストに追加します。次に、その取得すべきURLリストから1つURLを取り出して、以降はダウンロード、リンクの抽出、リストへの追加を繰り返します。このとき、ダウンロードしたURLをアウトプットとして出力します。 なお、ダウンロードを行う際に、”以前そのURLはダ
[Perl] XML::FeedPP - RSS・RDF・Atomフィードの解析・生成・変換・結合
Kawa.netxp [Perl] XML::FeedPP - RSS・RDF・Atomフィードの解析・生成・変換・結合 XML::FeedPP モジュールは、 RSS 2.0、RSS 1.0 (RDF)、Atom 0.3（および1.0）フィードの XML ファイルを解析・生成・変換・結合するための Perl モジュールです。 RSS ベースの1種類の共通 API で RSS・RDF・Atom の各フォーマットの処理に対応しているため、 手軽に扱えます。 フィードの読み出し・書き込みはもちろん、 RSSからRDFへ、RDFからAtomへといった各フォーマット間の相互変換も可能です。 他サイトからダウンロードした複数のファイルを結合して、 まとめて1つのファイルとして出力することもできます。 公開版アーカイブ： XML-FeedPP-0.43.tar.gz TARGZ CPAN ←通常パッケ
モバイルなプラットフォームでのOAuth Signatureの検証 - hide-k.net#blog
相変わらず、題名にセンスがありません。こんばんは。 さて、ようやくローンチしたモバゲーオープンプラットフォームですが、仕組み的にはmixiさんのモバイル版とほぼ同じアーキテクチャで Gadget Server がプロキシー的な役割をする感じになってます。 大人の事情がかなり反映された仕組みなのですが、この仕組みで非常に重要なのがGadget ServerからのリクエストをSAPがいかに信頼するかという部分です。いわゆる 2-legged OAuthでAuthorizationヘッダに含まれるOAuth Signatureの検証する部分。その部分のコードスニペットをご紹介。(mixi 用のは公開していいかどうかわかんないのでモバゲー向けだけ) use OAuth::Lite::ServerUtil; use OAuth::Lite::Util qw/parse_auth_header/; u
OAuth::LiteでOAuth対応のHTTP::Requestを作る方法 (Perlでtwitter bot書いてる人向け) - 酒日記 はてな支店
最近人気エントリーに便乗したネタが多くてすみません。 実用！ PerlでコマンドラインからTwitter投稿（OAuth対応） では、Net::Twitter を使って OAuth で投稿する方法が紹介されていますね。 ところで、単純な twitter bot 作るのに Net::Twitter 使います？「投稿なんて LWP で1発リクエスト投げればいいだけだから使わない」という人も多いと思いますが、Basic 認証が廃止されたらどうしましょう。 そのようなかた向けに、OAuth::Lite で OAuth 対応な HTTP::Request を作る方法をご紹介します。 consumer key, consumer secret, access token, access token secret は既に何らかの方法で取得できているものとすると、こんな感じです。 use OAuth::L
Perlデバッガの手引き - Perl入門ゼミ
Perl › デバッガ Perlのとても便利な道具のひとつにデバッガがあります。デバッガを使うとスクリプトを一行づつたどって変数の中身を見たり、ブレークポイントを設定してその位置で停止したりすることができます。 デバッガは本当に便利なのですがPerlをやっていても意外と知らない人がいます。ひとたびデバッガを覚えてしまうと試験をするときに手放せなくります。Perlを覚えたての時期からどんどん使っていって欲しいツールです。そんなデバッガのコマンドとテクニックをまとめてみました。 デバッグ用のスクリプト デバッグ用の簡単なスクリプトを準備しました。debug.plという名前で保存してください。このスクリプトを使用してデバッガの解説をします。 my $message = 'Hello'; my @nums = (1, 2, 3); my %scores = (math => 80, english
Perl基礎文法最速マスター - Perl入門ゼミ
Perl › 基礎文法 ITの現場でPerlが必要になって、今勉強しているという方はおられませんか? 他の言語をある程度知っている方が「Perl基礎文法最速マスター」を読めば、Perlの使い方の基礎をマスターしてPerlを書くことができるようになっています。 基礎 文法チェック 文法をチェックを厳しくするために最初に必ず次の2行を書くようにします。 use strict; use warnings; 「use strict」と「use warnings」という2行を加えることで事前に文法チェックが行われるので、ソースコードを記述する作業は速くなり、コードの品質が上がります。 print関数 文字列を出力するにはprint関数を使用します。 print "Hello world"; Perlでは標準関数や事前に定義されている関数で括弧を省略することができます。 コメント Perlのコメントで
RSSフィードURLの取得（Feed::Find）:Geekなぺーじ
ここでは、Feed::Findモジュールを使ってRSS/RDFのURL(URI)を取得する方法を説明します。 フィード取得サンプル 以下に単純なRSSフィードURL取得サンプルを示します。 #!/usr/bin/perl use Feed::Find; # ここを変更して下さい @list = Feed::Find->find('http://www.geekpage.jp/'); foreach $tmp (@list) { print $tmp; print "\n"; } exit; 上記サンプルでは、Feed::Findのfindを使ってHTTPでWebページを取得し、中に記述されているフィードへのURLを取得しています。 Feed::Find->findの返り値は、発見したフィードURLのリストです。 Feed::Findは、最初にHTML文書内の<HEAD>部分から<LINK>
サイト構築に役立つWEB講座 SmartSmart(スマートスマート)
フロントエンドのウェブ制作を学ぶ HTML5やCSS３、JavaScriptなどの言語、それにAtomといったツール、 言語を覚えるための勉強方法などを紹介。
Let'sプログラミング
Let'sプログラミングでは初心者の方を対象にJavaやPython、PHP、Rubyなど色々なプログラミング言語の解説を行っています。 Java Java入門 これからJavaを使ったプログラミングの習得を目指している方を対象としたチュートリアルです サーブレット(Servlet) / JSP入門 サーバサイドで動作するアプリケーションの作成方法 Androidプログラミング入門 モバイル向けプラットフォーム Android で動くアプリの作成 Swingを使ってみよう GUIを使ったJavaアプリケーションの作成で使用するSwing入門です Eclipse入門 開発環境として広く使われているEclipseのインストールと活用法 Javadocの記述 ソースコードからHTML形式の仕様書を生成します Apache POIでExcelを操作 Excelファイルの作成・操作
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
移転しました