クローラーを作るためのフレームワーク·Anemone MOONGIFT
RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの
webLister | クローリング・スクレイピングASP
WEBスクレイピング・WEBクローラーASP。 クローリングロボットがサイトの最新データ/リストを都度取得し、CSVでオンライン提供致します webLister データ収集代行・クローリングツール とは カンタンに利用できる ■プログラミングの知識はいりません。 アドバイザーにご相談頂ければ、御社の業務に対応したサイトの選定からデータ抽出、活用方法までカンタンにご協力いたします。 安心のセキュリティ 御社のビジネスのデータを守る安心セキュリティ ■暗号化の活用 通信は、世界標準ともいえる強力な金融機関レベルの 256bit SSL を利用。従来の40ビット鍵長と比べ飛躍的に安全性が増しており、より安心してご利用いただけます。 ■ファイアウォールによる保護 機密度の高い情報は、ファイアウォールによりインターネットから隔離して保存。 ■バックアップで安心 データは自動バックアップ。分散化により
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
