C#でスクレイピング - DENKEN
マッシュアップで欠かせない技術の一つにスクレイピングが挙げられる。 WebAPIが提供されていないサイトに対して、HTMLから直接情報を取り出す技術だ。 これには大きく分けて２つの方法がある。 HTMLをテキストとみなし、正規表現で処理する方法と、 HTMLをXHTMLに変換し、そのDOMに対してXPathで処理する方法だ。 こういう分野に強いのはPHPやPerlなどの軽量スクリプト言語だろう。 しかしC#使いだってスクレイピングやってみたい。 というわけで、 http://d.hatena.ne.jp/todesking/20061027/1161879777を参考にやってみた。 ちなみにここでやってるのは上記２つの方法のうちの後者。 ・・・うまくいかない。 つかTidyマンドクセー！ HTMLをXHTMLに変換したいだけなのに、オプションがありすぎて意味不明です。 もっと手軽なコンバー
DirtyなHTMLなのにXHTMLと名乗っているページをC#でスクレイピングする - babydaemons’ blog
C#でスクレイピング - DENKENを参考にやってみた。 元ネタはGoogleが吐いたHTMLを処理してたので（比較的キレイなHTMLなんだろう）、HTMLtoXHTMLは無事にXHTMLに変換できていたが、とある有名なブログのページを変換しようとしたら、XHTMLの宣言部が下記のように見事に壊れて、XDocument.Parse(xhtml)でXmlExceptionで落ちる。 <?xml version="1.0" encoding="Shift_JIS"="=" ?> <!DOCTYPE html="html" PUBLIC="PUBLIC" -="-" xmlns="http://www.w3.org/1999/xhtml" /> <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ja" lang="ja" xmlns:xm
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
