【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

[T-miura]

Botブロックとの戦いになるのでselenium使ったり、tor使ってis散らしたり色々やってる

[PerolineLuv]

スクレイピング対象のサイトの利用規約的に問題なし？API見つけて叩くとかたぶんグレーかアウトだろ。

[nappy1120]

スクレイピングしなくて良い世界になるといいね。

[ene0kcal]

どうもサイト規約やクロールルールを無視した実施をしている気がする（建前すら書いてないので）。

[dorokei]

一番先にすることはrobots.txtや対象サイトの利用規約などを確認することではなかろうか

[mitsuok-33]

スクレイピングという技術によって仕事の手作業が著しく改ざんされるのだが、未だ最善のツール、手段を模索中である。AIと絡ませて出来る事が令和時代に必要だと思って日々研鑽だなぁ。

[ysirman]

“株式会社FP16”

[thongirl]

人は誰しもスクレイピングにハマる時期があり、そしてある時期で卒業する。今日もまた新人がやってくる

[uva]

Firecrawl

[nekomottin]

魚拓取っておきますね

[mayumayu_nimolove]

スクレイピングってそんなに流行ってるんだ

[hhungry]

GPT-4でJSON出力できるようになったのでスクレイピングに使えそう。

[maseria]

スクレイピング

[lluvias]

規約変更でしれっと禁止になってたりするから難しいよね

[yto]

LLMの利用

[remix-cafe]

参考に

[a96neko]

見てる

[kyukyunyorituryo]

puppeteerじゃだめなんかな

[ledsun]

“JavaScriptを使った遅延読み込みなどがなく、完成したHTMLが返ってくるサイトをスクレイピングする場合はCheerioが最適です。 これはなんとCloudflare Workerで動く”

[hatebu_admin]

もっと気軽に簡単にスクレイピングしたいよドラえもん

[sakidatsumono]

はえー。ここでもLLMか。

[khtokage]

最近スクレイピングとかしないので全然知らないや… 参考にさせて頂きます

[uehaj]

フロントには表示していない場合などもあります。(未ログイン時) その場合はNext.jsがレスポンスに含むself.__next_f.pushを解析すると取得できる場合があります。

[you1]

え？無言のブクマ多すぎ？？？ / Playwrightは神

[take_matsu]

“Firecrawl”RAG渡し用