Webを進化させるスクレイピングのセオリー
WebAPIだけに頼る必要はない。HTML構造を解析し、さらに情報集約や付加情報を加えたまとめサイトを作る。この特集は、Webをさらに使いやすくするためのガイドだ。 第1回目では、マッシュアップできないならば、スクレイピングすればよいと説明した。それでは、具体的に、どのようにスクレイピングすればよいのか。今回は、スクレイピングの考え方と技法を説明していこう。 CSSの普及で、容易になったスクレイピング 実際に、ほかのサイトにあるHTMLをスクレイピングする場合、次の処理の流れとなる。 1）サーバからHTMLデータを取得する これは単純に、HTTP通信してHTMLデータを取得する操作である。例えばPerlであれば、LWP（libwww-perl）を利用すればよいだろう。もっと簡単に、UNIXに付属のwgetコマンドやfetchコマンドを使ってもよいはずだ。 2）HTMLから取り出したいデータ
今後10年間のウェブ潮流を10の要素からひもとく
われわれは現在、一般にWeb 2.0として知られるウェブの時代にいる。このウェブの局面の特徴には、検索、ソーシャルネットワーク、オンラインメディア（音楽、動画など）、コンテンツの集約とシンジケーション（RSS）、マッシュアップ（API）などが含まれる。現在のウェブは主としてPCからアクセスされているが、モバイル機器（例：iPhone）やテレビセット（例：XBox Live 360）などからウェブを楽しむ例も増えている。 ウェブについて、今後10年ほどの間にどんなことを期待できるだろうか。今週の投票でNatC氏がコメントしたように、今後10年間でウェブに最大のインパクトを与えるものは、コンピュータの画面を通じて現れるものではないかもしれない。「オンライン活動は、存在感、移動、買ったり使ったりしたものなどがミックスされたものになる。」また、以下に示す10項目の（あるいはそれ以上の）潮流の相互作
Web 2.0ユーザ作成コンテンツ 市民ジャーナリズム ロングテール ソーシャルメディアサイト構築費12,107.09ドルの内訳
Web 2.0ユーザ作成コンテンツ 市民ジャーナリズム ロングテール ソーシャルメディアサイト構築費12,107.09ドルの内訳 Guy Kawasaki / 青木靖 訳 2007年6月3日 Truemorsのおかげで、この｢Web 2.0｣の時代に会社を立ち上げることについて多くを学ぶことができた。 ｢数字で見た｣概要を以下に示そう。 0個。ビジネスプランは全然書いていない。プランは簡単なもので、数ヶ月でサイトを立ち上げ、人々が気に入るか見て、広告とスポンサーを募るというものだ。 0社。ベンチャーキャピタルへの売込みはしていない。クレジットカードレベルの負債で立ち上げる方が、話はずっと簡単になる。 7.5週。truemors.comのドメインを登録してからサービス開始までの時間は7.5週間だった。オープンソースとWord Pressのおかげで楽にやることができた。 4,500ドル。ソフト
【埋】他人に「事後選別」されたコンテンツだけを楽しむ時代
日曜コラムです、こんばんは。 つい先日、「サークルライフ」 というネットサービスが起ち上がっているのを 見つけました。元したらば社長のけんすうさんの実験的なサイトです。 ■サークルライフ http://circlelife.jp/ ■したらば元社長日記「web2.1は手書きコンテンツです笑」 http://blog.livedoor.jp/kensuu/archives/50341075.html サークル勧誘のチラシ をひたすら集めまくるというコンセプトの このサイト、手描きの勧誘チラシが丁寧にスキャンされて、 それと一緒に大学名、サークル名、公式サイトURL、カテゴリ分類などの 基本情報が記録されています。カテゴリから探すことも可能です。 ■慶應義塾大学 - 理工体少林寺拳法部のチラシ http://circlelife.jp/10 ■早稲田大学 - FMwasedaのチラシ http
【Watcherのブックマーク】Bookmark 2.0
小飼弾です。今回の記事は、ITPro編集部からの依頼がきっかけです。 実は，ゴールデンウイークのイベントとして「ITpro Watcherおすすめの仕 事に役立つWebサイト」企画も開催いたしたく考えております。 URLのリストをいただくだけでもかまいませんが，URLにコメントを添えていただく 形でもかまいません。特にお気に入りのサイトにコメントを添えていただいて，残 りはURLのみという形がよいのではと考えております。サイト数は，10～20程度を 考えております。特に「知る人ぞ知る」サイトでなくとも，定番的なサイトでかま いません。 これを見て困ってしまいました。 なぜかというと、私はブラウザーのブックマークをほとんど使わないからです。こういった記事を書く場合、自分のブックマークのリストを見ながら選んで行くのがまっとうなやり方かと思いますが、ところが私のブックマークは、逆に滅多にアクセス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
