進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
WWW SQL Designer
What's new? 25.9.2008 Version 2.2 SQLite storage New datatypes New translations 18.7.2008 Version 2.1.1 Fixes in MySQL XSLT Minor improvements 28.6.2008 Version 2.1 New languages Dynamic window title "note" datatype attribute 1.4.2008 Version 2.0.1 Fixed AUTOINCREMENT for Foreign Keys Minimap visual aesthetic changes 28.3.2008 Version 2.0 ! Thanks to Mirko Buffoni for numerous consultations and su
セマンティック・マイクロブログ
ソーシャルメディアとマイクロブログ SNSとソーシャルメディア SNS：個人のプロフィールや関心事などを（範囲を限定して）公開し社会的ネットワークを構成 ソーシャルメディア：社会ネットワークとコンテンツ・メッセージ共有の組み合わせ Ambient Intimacy（何気なくそこにあるような親しみ）の感覚 データの互換性、共有が課題 マイクロブログ（Microblogging） 限られた字数の最小限の＝気軽に書けるコンテンツ ゆるやかで手軽なコミュニケーション Why We Twitterの考察では、日常会話＋情報探索/共有 フットワークの軽さとモバイルとの相性 携帯端末からも簡単に読み書きできる → 発信する位置という新たなメタデータ マイクロブログのデータモデル コンテンツのモデル ポストの内容（本文） ポストのメタデータ（タグ、返信など） サービスによってさまざまな形態 ポスト本文中に
@IT：サンプルで覚えるXSLTプログラミング
サンプルで覚える XSLTプログラミング 小山尚彦、Chienowa.comチーム 日本オラクル株式会社 2000/8/22 2000/10/12（第9章以降追加） XMLは文書の記述の表記基準に過ぎません。ですから、XMLがその真価を発揮するにはさまざまな要素が必要です。例えば、XML文書のデータ構造を、XML文書をやり取りする人々のあいだで定義しておくことは大切です。そのために、DTDや最近ではXML SchemaというXMLデータ構造を表記する基準（スキーマ言語）が検討されています。 また、XML文書をさまざまな形式に加工することも重要でしょう。しかも、 そのような加工の方法もXMLで書かれたならなおよいでしょう。 それがXSL（Extensible Stylesheet Language）です。 XMLを自由に加工できる XSLはXSLT（XSL Transformation）と、
Google AJAXSLT
AJAXSLT is an implementation of XSL-T in JavaScript, intended for use in fat web pages, which are nowadays referred to as AJAX applications. Because XSL-T uses XPath, it is also an implementation of XPath that can be used independently of XSL-T. Overview XSL-T stands for XSL Transformations. XSL stands for eXtensible Stylesheet Language XSL-T is a language for transforming XML documents from one l
XMLのメリット、デメリット
<< 2006/08/ 1 1. [OSS] 「Rubyのメッカに」と松江市長,研究・交流拠点「オープンソースラボ」開設 2. U-20プロコン作品応募数 3. 第39回情報科学若手の会 2 1. [Ruby] Ruby Book Sales Pass Perl 2. 「自分だけは大丈夫」,セキュリティ対策を妨げる「正常化の偏見」 3 1. svk(1:21:41) 4 1. [原稿] 日経Linux 2006年10月号 2. [Ruby] Pickaxe2 8/25発行 3. [Ruby] SciRubyInterviews/BilKlebAndBillWood 5 1. [教会] 岡山 2. 「しばらく待て」 3. 「there must be a reason」 6 1. 日曜 7 1. 早朝、ラジオ体操 2. [原稿] オープンソースマガジン 2006年10月号 3. [OSS]
RubyでXML操作: Netsphere Laboratories
Warning. (2019.1) REXML は, 標準添付ですが, 品質・速度の両面であまりよくありません。Nokogiri (鋸) がメジャーで、長らく標準の地位で使われています。REXML の3倍速い。 最近は, 大鋸 (おが) の人気が高い。スレッドセーフ、高速、機能性もある。Yorick Peterse / oga · GitLab REXMLの特徴 REXMLは、 XML 1.0に準拠した、高速なXMLパーサで、DOMツリーを生成したり、XML文書を読みながらコールバックさせる (SAX2ストリームパーサ) ことができる。 XPathの実装を含み、検索式によってDOMツリーの好きな要素を取り出すことができる。 Ruby 1.8.5にはREXML 3.1.4が添付されている。チュートリアル、APIリファレンスは下記で見られる。が、APIリファレンスのほうは不十分かつ誤りもある。
XML::Simple は遅い説における意外な落とし穴 (iandeth.)
「XML::Simpleは処理速度が遅い」説といえばNDO::Weblogさんの記事 Perl で XML の処理はどれが速いかベンチ がすぐに思い浮かびます。初見した時はずいぶん感心した覚えがあり、以来、業務で XML::Simple を使う事に多少なりとも躊躇するようになったものです。そんな中、現在仕事で XML parsing with Perl な案件を受け、CPANにUPされている様々な XML 解析系モジュールの処理速度を計測しているのですが、その際気付いた、XML::Simple の意外な落とし穴についてまとめてみました。 目次： まとめ デフォルトで呼ばれるXML::SAXパーサーの確認方法 ベンチマーク比較 関連情報 まとめ だらだら説明するのもナンなので、いきなり結論から。XML::Simple は、デフォルトの状態だと XML::SAX がインストールされている場合、
プログラマー日記(2006-01-19) - Sendmailで学んだこと
This domain may be for sale!
スクレイピングはもっと簡単にならなければいけない - bits and bytes
スクレイピングをやったことがあるひとならばわかると思うけど、スクレイピングはとてもつまらない作業だ。 HTMLの中から抜き出したい部分を見つけて、その周辺にある特徴的な部分に着目して正規表現を書いたりして抜き出す。あるいはHTMLからDOMを生成して特定のクラスがついているエレメントを抜き出したりする。HTMLをXHTMLに整形、変換してXPathで抜き出す方法もある。どの方法もやることは単純で簡単なことだけれど、極めてめんどくさい。 そういうものだと思って数年間過ごしてきたけれど、去年の夏に出てきた Dapper: The Data Mapper は、そんな退屈な常識をモダーンなajaxでもって吹き飛ばした。もしDapperがどんなのなのか知らなかったら、ちょっと長くてはじめ退屈なんだけど デモムービー を見てみてください。 Dapperが教えてくれたことは、スクレイピングなんて、欲し
Cybozu Developer Network: XUL 調査報告 〜サイボウズリマインダー開発〜
サイボウズはクラウドベースのグループウェアや業務改善サービスを軸に、社会のチームワーク向上を支援しています。
XML-RPC HOWTO
様々な言語でクライアントおよびサーバを実装するための XML-RPC の使用方法を述べます。例題のプログラムは Perl, Python, C, C++, Java, PHP および他の言語で示しています。Zope や KDE 2.0 についても 扱っています。XML-RPC のサポートはすべてのオペレーティングシステム で利用できます。 Table of Contents1. Legal Notice2. XML-RPC とは？2.1. どのように動作するのか2.2. サポートされるデータの種別2.3. XML-RPC の歴史3. XML-RPC 対 他のプロトコル3.1. XML-RPC 対 CORBA3.2. XML-RPC 対 DCOM3.3. XML-RPC 対 SOAP4. 一般的な XML-RPC インターフェース4.1. イントロスペクション - サーバの API を掘り出
AjaxのバックエンドにPHP＋MySQL（1/3） ― ＠IT
第9回「『オンラインストア』完成へ向けて各ファイルを再構築」までで、「簡易オンラインストア」の処理を一通り完成させましたが、今回はそこにAjax（Asynchronous JavaScript＋XML）を取り入れ、フォーム入力を支援するよう改良を加えます。Ajaxを活用すれば、フォームボタンを押下に加え、キーボード入力やマウスのドラッグといったイベントをトリガーにして、ページ表示の一部だけを再描画することができます。 前回までのシステムでは、郵便番号と住所への入力が互いに連携しておらず、個別に入力する必要がありました。今回はAjaxを用いて、郵便番号テキストボックスに数字が1文字入力されるごとに、入力された数字からデータベースを検索し、該当する住所が表示されるようにします。 なお、Ajaxの基本や詳細については以下を参考にしてください。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TECHSCORE - Java,SQLプログラミング技術解説
REXML：RubyによるXML処理
たのしいXML
サーバーサイド技術の学び舎 - WINGS