The New York Times Perl Profiler
By Adam Kaplan March 5, 2008 1:43 pm March 5, 2008 1:43 pm I work in the NYTimes.com feeds team. We handle retrieving, parsing and transforming incoming feeds from whatever strange proprietary format our partners choose to give us into something that our CMS can digest. As you can imagine, we deal with a huge amount of text processing. To handle all of these transformations as efficiently as possi
Perlメモ/Gungho/簡単なRSSクローラ - Walrus, Digit.
Gunghoでもっともカスタムメイドの機会が多い部品は、プロバイダとハンドラです。「何を取得したいか」「取得してどうするのか」という用途に密接にかかわる部品だからです。ここではサンプルとして、データベースをストレージとした、RSS（フィード）クローラを作ってみることにします。 Gunghoの概要や情報源についてはPerlメモ/Gunghoを参照してください。 このフィードクローラは、次のような動作をします。 データベースに、フィード情報を保持するfeedテーブルとエントリ情報、コンテンツを保持するentryテーブルがあります。 フィードの取得 フィードテーブルから、未取得、または最終取得から1時間経過したフィードのURLを読み出します。 読み出したフィードを取得します。 取得したフィードから、エントリ情報を抽出します。新しいエントリURLがあれば、entryテーブルに追加します。 エントリ
夙川アトム - naoyaのはてなダイアリー
この間のめちゃいけを見て夙川アトムに惚れた人も多いと思いますが、なんか今日急にルー語ばりに日本語を夙川アトム風に変換するモジュールを書きたくなったので書いてみた。そして先ほど無謀にもCPANにリリースしてみた。 これは衝撃のモジュール。→ 夙川アトム 使ってみます。 #!/usr/bin/env/perl use strict; use warnings; use Acme::Shukugawa::Atom; use Term::Encoding qw/term_encoding/; use URI; use XML::Feed; use autobox; use autobox::Encode; use autobox::Core; my $url = shift or die "usage: $0 <url>"; my @feeds = XML::Feed->find_feeds($u
Kazuho@Cybozu Labs: 高速なCometサーバを書いてみた件
« Pathtraq 最新ランキング ガジェットを公開しました | メイン | Q4M (Queue for MySQL) 0.3 リリース » 2008年03月10日 高速なCometサーバを書いてみた件 もう昨年の２月になりますが、Comet について調査を行いました。その際の成果をまとめたスライドは既に公開していた (Comet の正しい使い方) のですが、同時に実際に作ってみた実装についても、オープンソース化することとなりました。コードは CodeRepos に置いておきますので、どうぞご覧ください。 (Revision 7754: /lang/perl/fastr) 使い方は example ディレクトリ以下を見ていただくとして、ベンチマークの結果とチューニング手法について、記録と記憶に残っている範囲からまとめておきたいと思います。 パフォーマンスについて まず、パフォーマンスに
海外のPerlerの情報は - Charsbar::Note
とりあえずmiyagawaさんのブクマ（あるいはmiyagawaさんのお気に入り）を追いかけておくのが適度にフィルタがかかって便利なわけですが、それでは物足りないという熱心な人にいくつかのポインタを紹介してみる。 初級編 http://use.perl.org/ http://www.perlmonks.org/ http://perlbuzz.com/ ちなみにタイトルとリンクだけでよければPlaggerでとってきたものをhttp://twitter.com/perlnews（とirc.perl.orgの#news）に放流してます。 中級編 http://www.nntp.perl.org/group/ http://london.pm.org/pipermail/london.pm/ さらに海外のPerlerを追いかけたければブログよりＭＬを見た方がいいと思います。nntp.perl.
Shipwrightちょっとだけ使ってみたよ - ヒルズで働く@robarioの技ログ
参考：Shipwright - dann@catalyst - Catalystグループ Shipwright-1.01使ってみたよ。CPANモジュール群をSubversionリポジトリで管理できるよ。 どっかの誰かが『CPANモジュール群のバージョンを各マシンで合わせるためにrpmに変換して云々』ってのをやってたと思うけど、Shipwrightの用途は多分そんな感じです。 Subversionリポジトリにコミットすることになるので、野良パッチのバージョン管理も出来るかもね。 インストール 普通にCPANから。 # cpan Shipwright Shipwrightはsvnが必要です。 svkにも対応していてsvkが無い環境だとインストール時にエラーになるけど、運用上svkを使わないんだったらcpan -f Shipwrightで問題無いよ。 初期化 $ shipwright creat
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
fetch-nico-video を書いた - woremacxの日記
衝動的に Plagger::Plugin::Filter::FetchNicoVideo をベースにした fetch-nico-video.pl を書いてみました。FetchNicoVideo のオプションのほとんどを、コマンドラインで指定できるようにしたお。id:otsune さんと yusukebe(id:kamawada) さんにいろいろ相談にのってもらったお。thanks! FETCH-NICO-VIDEO(1) User Contributed Perl Documentation FETCH-NICO-VIDEO(1) NAME fetch-nico-video - command line downloader of NicoVideo SYNOPSIS fetch-nico-video [options] [urls ...] DESCRIPTION fetch-nico-
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Net::OpenID::Consumerが上がった - id:lopnor
この前あれー、通らないなぁーと言ってたNet::OpenID::Consumerの2.0対応ですが、本家のbranchにmalaのパッチが取り込まれて動くようになってました。Net::OpenID::Consumerをアップデートするだけであっさり2.0対応した。すげえ。あざーっす→id:miyagawa, id:mala あたり→なのですることがなくなってしまった svn co http://code.sixapart.com/svn/openid/branches/openid2/perl/Net-OpenID-Consumer/ cd Net-OpenID-Consumer perl Makefile.PL make sudo make install http://lopnor.homeip.net/~danjou/authenopenid/ ↑ここで「http://www.yah
大の大人が雁首そろえてソースコードを読むのって馬鹿馬鹿しくね? - TKSKを作る人のネタ帳 〜人格崩壊〜
読むのが楽しいソースコードなら、どんどん読めばいいじゃない。 ということで pQuery.pm を読んでみたyp! パッと見でわかりにくい部分はあるけど、ingy products にしてはそんなに変なことはやってないよ。Spiffy もつかってないしね! my $my = {} sub pQuery { # (ry $my->{$self} = {} のあたりとか、混乱するけど、このコードにはなんの意味もないみたいだよ! 引数として渡ってきたリファレンスとかをイジりたおしてるから、参照の概念がわかってないと混乱するよ! まだ pQuery 自体が作りかけなので、試してみようと思っても、ほとんどなにも動かないよ! とりあえず、CSS Selector を HTML::Selector::XPath+HTML::TreeBuilder::XPath で、それなりに動くようにしつつ、HTTP:
ライブドアブログ｜無料で豊富な機能が充実
週末はこれ！柔らか～&うまみたっぷり！焼くときに飛び散りにくい特製もみだれの焼き肉と秋野菜のグリルで決まり！
@INC からモジュール探し - Tociyuki::Diary
前回の perlwhere に対して、id:dankogai さんにフォローをしていただきました。ありがとうございます。 ⇒ 404 Blog Not Found:perl - モジュールと%INC まず、モジュールのありかを手っ取り早く調べる方法としては、 % perldoc -mlが使える。PODが含まれてなくてもOK。 Perl のスクリプトの中でモジュールのありかを調べるのにも使えるようにと考えていて前のエントリになったのですが、前提を書き忘れていました。ご指摘の通り、単にありかをコマンドラインから調べるためだけなら、perldoc で充分です。書いてなかった意図を察していただいており、恐縮します。 さて、そのためには、前回は Module::Build::ModuleInfo を使えば楽だと書いたのですが、今回はこれを使わないで調べる方法を id:dankogai さんにならって
Journal of miyagawa (1653) - Three levels of Perl/Unicode understanding
(Editorial: Don't frontpage this post, editors. I write it down here to summarize my thought, wanting to get feedbacks from my trusted readers and NOT flame wars or another giant thread of utf-8 flag woes)I can finally say I fully grok Unicode, UTF-8 flag and all that stuff in Perl just lately. Here are some analysis of how perl programmers understand Unicode and UTF-8 flag stuff.(This post might
UTF8 フラグあれこれ - daily dayflower
UTF8 フラグについてわかってるつもりだったんですが，utf8::is_utf8 considered harmful - Bulknews::Subtech - subtech を読んで混乱したので，自分なりにまとめてみました。間違いがありましたらご指摘よろしく。 まとめ スカラー変数の内部表象の状態を示すものとして UTF8 フラグというものがある スカラー変数は（リファレンス等は別として）下記のものを格納できる (A) 文字列（内部表象: UTF-8） (B) 文字列（内部表象: ISO-8859-1） (C) バイナリ列 純粋なバイナリストリーム（画像ファイル等）かもしれないし， UTF-8 octet stream かもしれないし， CP932 octet stream かもしれないし，etc, etc ... Perl は（後方互換性確保などの理由から）ISO-8859-1
utf8::is_utf8 considered harmful - Bulknews::Subtech - subtech
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
log4ZIGOROu : perlで気軽にsitemap.xmlを作る
date 2008-02-07 15:00:24 category Perl permlink here comment 0 trackback 0 sitemap.xmlとは、検索エンジンに対してクロールして欲しいURLを指定したり、その指定したURLの優先度を設定したりする事が出来るXML Formatの事です。 このXMLをサイト上に置いて、Google WebMaster Tool等で通知したり、robots.txtでSiteMapのLocationを指定する事によって、検索エンジンクローラが自動的にsitemap.xmlの場所を認識して、そのxmlファイルを参考にクロールしてくれるでしょう。 今回はこのsitemap.xmlをperlで動的に書く方法です。 いきなりですが結論です。 WWW::Google::SIteMapモジュールを使いましょう。 #!/usr/bin/perl
I, newbie » Perl初心者はどうやって勉強したらいいんですかね
「Perl初心者はどうやって勉強したらいいんですかね」というような質問を以前ある人から受けたのですが、ぶっちゃけ自分も大したコードは書けていないわけです。ずいぶん前に「プログラムも書けないで管理者と言えるか」みたいなことを言われて、「だったら書いてやろうじゃないの」と半ば反発しながら始めたのがきっかけで、毎日コードをガリガリ書いている本職(それ偏見)には遠く及ばない程度の実力なわけです。それでも、Perl4の頃のコードを見ると書き換えたくなるとか、「hash-basedなobjectよりinside-outですよ」と知ったかぶりしてみたりする程度にはmodernなPerlコードを書いているつもり。 で、質問に回答できるほどの経験も実力もないけれど、どうやってここまで学んできたかを振りかえってみた。 最初に手に取ったのは、「初めてのPerl」。訳文が理解を妨げるので今は原著しか読まないけど、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.yappo.jp/yappo/archives/000559.html