2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
rubyでする Web scrapping - Hpricot と mechanize そして scRubyt (朴 芝印) スピーカー 朴 芝印 - 延世大学化学工学科, 韓国 ruby-forum - forum.rubykr.org プロフィール - Ruby好きの大学生。 - Programming Rubyの韓国語版の翻訳。 講演時間 16:00〜16:30 講演者による資料 page: http://tisphie.net/typo/pages/RubyKaigi2007 PDF: http://tisphie.net/web-scraping.pdf 韓国の方ですが、とても日本語が上手で聞きやすかったです。 緊張しています^^ Rubyでやってること Rubyで自分のためのユーティリティを書いたりしています。 Programming Ruby韓国語版の翻訳(拍手) Web S
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ! 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか?scrAPIを使う?でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね! Hpricotなら、たったこれだけで
携帯電話には、個々の端末を識別するための情報が付与されており、携帯電話対応WEBアプリケーションの認証などに、この情報を用いることがある。各キャリアで呼び方や取得方法が異なっているが、いずれもHTTPヘッダから取得することが可能である。(但し、ユーザーがこの情報の送信を許可していることが前提) キャリア毎の特徴、フォーマット、取得ロジックのサンプルを以下にまとめる。キャリア識別を事前に行なっておく必要があるので、それについては別記事を参照。 1. NTT DoCoMo(ドコモ) 特徴は以下のとおり。 個体識別情報と呼ばれ、ユーザエージェント(User-Agent)ヘッダから抽出する。 非FOMA端末とFOMA端末でフォーマットが異なる。 FOMA端末からは、「FOMA端末製造番号(機種変更時に変わる)」と「FOMAカード製造番号(機種変更しても変わらない)」が取得できる。 個体識別情報が自
Nowadays, real estate professionals are increasingly turning to social media marketing as a powerful tool to connect with potential buyers, sellers, and renters. Using platforms like Facebook, Instagram, and LinkedIn, realtors can expand their reach, build brand awareness, and ultimately drive sales. In this article, we’ll explore effective strategies and creative post ideas for successful real es
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く