YappoLogs: Xangoというクロウラーフレームワークを使ってみる
Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s
ラムダ式とかクロージャとか継続とか - ＊「ふっかつのじゅもんがちがいます。」withぬこ
今日クロージャと継続という用語を知った。なんか世の中広い。知らないことがいっぱいだ。 ラムダ式とかクロージャとか継続というのは関数型言語のタームだ（と思う。関数型言語をひとつもまともに知らないのでよく分からない）。C/C++/Javaみたいな手続き型言語ばっかし使ってるとなかなかお目にかかる機会がないが、実に興味深い概念だ。（PHPにはlambdaという関数があるし、Perlにもクロージャがあるようだ。） ラムダ式 ラムダ式とは関数を値とする式。この概念を知ったのはだいぶ前にこの記事を読んでだった。ラムダ式の概念の説明とC++でラムダ式を実装するという記事（の翻訳） クロージャ クロージャはこちらの記事を見て用語を知った。意味が分からなかったのでググってここを見た。僕の理解した範囲では、クロージャとはラムダ式の束縛の実装方式のことかと思う。 継続 継続というのはプログラムが戻った（進んでも
＊「ふっかつのじゅもんがちがいます。」 - ペアプロと上司でないマネージャはすっぱいブドウ
開発者が楽しく仕事できる環境とはを読んで。 ペアプロについて 以前いた会社を辞める前に、引継ぎとして（そして個人的な実験を兼ねて）ペアプロをしてみたことがある。確かに効率的だった。近藤さんのおっしゃるような効能を容易く体感できる。僕は何一つドキュメントを書かなかったが、しかしこの引継ぎは「xxx引継ぎ資料20050806.doc」なんていうWordファイルを書いてこれを元に1時間プレゼンして、このファイルをファイルサーバの奥深くに格納するよりもはるかに効果的だった。 ヒント：そういう引継ぎはやらないよりは幾分ましだが、せいぜい「話題の映画のあらすじを教えてもらったから世間話ができる」という程度のご利益しかない。大事なことはいつだって行間に書いてあるのだ。 ペアで作業を行うため仕事以外の事は一切できない（一人で作業しているとついついメールをチェックしたりウェブを見たりしてしまいます） 「これ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
