進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
MOONGIFT: » 悪のGoogle利用法「EvilRSS」:オープンソースを毎日紹介
SEOやSEMに興味がある人であれば、あるキーワードで検索した際のGoogleでの順位チェックをしたことがあるはずだ。それをサービスの一つとして提供している所もある。 大抵、規模が大きくなると自動化を進めるようになる。それを簡単にするのがこのライブラリだ。 今回紹介するオープンソース・ソフトウェアはEvilRSS、Googleの検索結果をRSSにしてしまうソフトウェアだ。 これはまさにEvil（悪）。RSSであれば、様々なレンタルサーバに設置して、IPアドレス制限を超えて利用できてしまう。まさにEvil。 RSSであれば、既存のライブラリと組み合わせれば簡単にシステム内部に取り込めてしまう。まさにEvil（悪）。出力はページ名、ページの概要、リンクがそれぞれ出力される。日本語の検索ワードも利用でき、最大100件まで指定可能だ。 もちろん、正規の使い方ではないのでその点ご注意いただきたい。業
コメントを支配するものがブログを支配する『コメント集客術』
『コメントを支配するものがブログを支配するんだって！』 とある居酒屋でこんな話を聞かされた。 私のブログの話をしたところ、友人が私のブログの事を知っていてすごい驚いていた。 あれ、お前のかよ！とか言われたわけですが、友人のブログの話を聞いて私も驚いた。 あれ、お前かよ！とか言ってしまった。 彼のブログのアクセス数はユニークユーザー月間15万程あるそうです。 ごくまれにはてブで見かけたことがあったので余計驚きました。 そんな彼のブログ術。 たっぷりと聞かせてもらった。 それが『コメントでアクセス数をたたき出す術』です。 彼は、『記事云々よりも、その優れたコメント術でここまでアクセスを作ったといっても過言ではない』と、自分で言っていましたが・・・。 『記事はコメントを発生させるためのおまけ』 あまり真似できるものではないかもしれませんが、早速ネタにさせてもらいます。 コメントを支配することでア
思考パターンのテンプレートが多数用意されている発想支援ツール『Exploratree』 | IDEA*IDEA
ドットインストール代表のライフハックブログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本経済新聞
