一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい

昨日リリースしたbpushですが、はてブのホットエントリーに入るなど、思いのほか多くの反響をいただくことができました。ありがとうございました。 ウェブにプッシュ通知をもたらすウェブサービス「bpush」を作った 本記事では、bpushで使用しているライブラリやAPI、それを採用した経緯などについて紹介したいと思います。 個々の技術については既に良質な記事が存在するので、詳しくは説明しません。ざっくり全体についての紹介となります。 他人のサービスが使っているライブラリとかツールとか知るのって楽しいですよね。私は楽しいです。 Service WorkerとPush API bpushを実現している中核となる技術がService WorkerとPush APIです。 Service Workerはバックグラウンドで動作するJavaScriptで、ウェブページを開いていなくても動作することができま

2017年3月26日追記 bpushは2年弱の運営の後、OSSとして生まれ変わりました。詳しくは下記の記事をご覧ください。 国内初のウェブプッシュサービスbpushのOSS化と運営して学んだことについて ブラウザだけでプッシュ通知ができるようになった Chromeのバージョン42からプッシュ通知が可能になったという記事は読まれましたでしょうか？ 「Google Chrome 42」安定版リリース　プッシュ通知機能追加と45件の脆弱性対 Chrome 42から、Service Workerという新しい仕組みによって、ブラウザを閉じていても、スマートフォンのプッシュ通知のようにサービス側からお知らせを届けることができるようになりました。この機能はデスクトップ版とAndroid版のChromeに導入されています。通知の仕組みにGoogle Cloud Messaging(GCM)を使っているため