複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい
最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
Hadoopの派生関係 2013年度版
Hadoop distributions as of 20131231 from shingo furuyama 去年というか今年の初めに書いたものが割と評判がよかったので今年もやってみました。 Slideshareの仕様かなにかわかりませんが、透過しないはずのオブジェクトが透過される扱いになって絵が汚くなってしまったので、bmpをpptに張り付けるという最終的によくわからない方法でSlideshareに乗せることになってしまいましたが、遠目に見る分には問題なさそうなのでこれで。 文章そのものは去年というか今年の雰囲気だとあまり読まれていなかったようなので、今年も適当に各ディストリビューションについてあれしようかと思います。僕としてはなにを議論したいかというのはあまりなくて、今年というかHadoopを触っていたころに思っていたことをフラッシュしてる感じです。去年というか今年の初めはHado
JavaScript Patterns
A JavaScript pattern and antipattern collection that covers function patterns, jQuery patterns, jQuery plugin patterns, design patterns, general patterns, literals and constructor patterns, object creation patterns, code reuse patterns, DOM and browser patterns (upcoming). Patterns collected while developing 喜感网. General Patterns Function Declarations - creating anonymous functions and assigning t
BOOKSCANでは本の表紙（カバー）をスキャンしてもらえないので、自動修正スクリプトを作りました - プログラミングノート
あけましておめでとうございます。 年末に家にある書籍（主にマンガ）をごそっとBOOKSCANでスキャンしてもらって部屋がスッキリ！したのはいいのですが、BOOKSCANでは書籍のカバーをスキャンしてもらえないという仕様で、ちょっとどうにかしたいなあと思っていました。 注文する時にリネームオプションをつければスキャン後のファイル名にISBNが追加されるため、BOOKSCAN上ではこのISBNから自動取得した画像がWEBページに表示されているのですが、i文庫など一般の電子書籍リーダーで表示すると、このような残念な感じの表示になってしまいます。 幸いファイル名は「DEATH NOTE （1） （ジャンプ・コミックス） 小畑 健 200p_4088736214.pdf」という規則性のある感じになっているので、BOOKSCANがやってることと同じことやれば解決できるじゃないか、ということで、正月
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PayPal社がバックエンドをJavaからJavaScriptへ移行
