スクレイピングをしてみよう 認証・リダイレクト回避編 – lesson me
今日はスクレイピング時に引っかがりがちな年齢認証などを回避してhtmlを取得する方法について（今日どハマりしたので 例えば、 取得したいページがリファラーで制限されている アダルト商品など年齢認証で目的のページにたどり着くのにクリックなどが必要 こんなケースに直面した場合の対処が必要になってくると思います。 年齢認証などは簡単な場合はURLに少し手を入れるだけで特に問題なく取得できるケースも多いですが、リファラーやcookieで制限されると少し手を加えないといけません。 Simple HTML DOM Parserで普通に取得する場合 普通はこんな感じでfile_get_htmlだと思います。 $html = file_get_html($item_url); // $item_urlは取得したいページのurl リファラーやcookieを設定して取得する場合 $opts = array(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHP Simple HTML DOM Parserでウェブのコンテンツを取り出す | 石間謙 勝手ブログ Ver.2.5
