クローラーを作るためのフレームワーク·Anemone MOONGIFT
RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの
Ruby: learn/tail (Japanese)
■ Ruby: フィルタコマンド/tail tail コマンドってしっています? Unix 系のシステムでは、ファイルの終りだけを表示するコマンドとして使用されています。 実現方法の考え方(アルゴリズム)の勉強にとてもいい課題になっています。 最初は基本的なアプローチで、できたら大きなファイルでもうまく動くような方法を考えてみてください。 tail コマンドとは? 考え方のヒント こんな感じで ■ tail コマンドとは? tail は、ファイルを指定した場合に行数指定をしなければ最後の 10 行を表示します。 $ tail ChangeLog singleton methods. Fri Aug 15 19:40:43 1997 WATANABE Hirofumi <watanabe@ase.ptg.sony.co.jp> * ext/socket/socket.c (Init_soc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
