あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
TGSで「Webアプリのアーキテクチャの歴史と進化」について話しました
前回に続いてトーキョーギークスタイル(TGS)に登壇しました。「Webアプリのアーキテクチャの歴史と進化」について話しました。セミナー資料を公開します(過去文書含めて、上部の「ドキュメント」メニューからたどれます)。 Webアプリのアーキテクチャの歴史と進化 セミナー後、Webアプリの歴史がDIまでって中途半端じゃないですかと指摘を受けました。その指摘は正しいと思います。私的メモではもう少し先のPlay Frameworkまでの史観を作っていました。 セミナーでの説明をDIでやめた理由は、それ以上話すと内容が更に散漫になりそうだったことと、評価の定まっていない動向を語るのに躊躇したこと、そしてそもそもPlay Frameworkを語って新しい動向も知ってますアピールをして自己満足したいだけではないかと自己分析してしまったからです。 ここに書く分にはどうでもいいので手元で作っていた私的史観を
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 − ＠IT
2007/11/26 2007年11月24日、「楽天テクノロジーカンファレンス2007」において、Ruby言語の開発者で楽天技術研究所フェローのまつもとゆきひろ氏は、開発中の大規模分散処理基盤「Roma」（ローマ）と「Fairy」（フェアリー）のコンセプトを語った。研究段階ではあるものの、米グーグルなど世界トップクラスのネット企業だけが持つ大規模分散処理技術に真っ向から挑戦する試みだ。 米グーグル、米ヤフー、米アマゾンなど世界トップクラスの大手ネット企業は、巨大なトラフィックに対処するため、大規模データセンターの信頼性、可用性、性能などを確保する大規模分散処理基盤の研究開発を進めている。最近では、こうした大規模分散処理基盤は“ウェブOS”と呼ばれることもあり、注目を集めている。つまり世界トップクラスのネット企業は“ウェブOS”を自社開発しているわけだが、楽天でも国産の“ウェブOS”が生まれ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
