エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
PHPでCookieを保持しつつWebスクレイピングする例
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
PHPでCookieを保持しつつWebスクレイピングする例
PHPを使ったWebスクレイピングといえば5年ほど前に投稿した「PHPでHTMLを簡単に解析できるDOMDocument」... PHPを使ったWebスクレイピングといえば5年ほど前に投稿した「PHPでHTMLを簡単に解析できるDOMDocument」でほとんどコト足りていましたし、これでは取得できないページでも「VBScriptのIE操作をPuppeteerのChrome操作へ移行する例」のようにPuppeteerを使ってブラウザを自動操作※することで解決していました。 しかし、最近Puppeteerの調子がよろしくない。よくわからないエラーで止まってしまうことがあり、せっかく自動化していても手動でチェックする手間が増えていました。 コード上のエラーなら修正するのですが、ほとんどの原因はサーバー側の一時的なキャパオーバーでタイムアウトが発生しているだけ。取得しているのは単なるレポートページといえど、最近のHPは管理ページですらデザインも凝っているため、あちこちべたべたと画像が貼られていたり、jQuery等の外部Ja