【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
Google Libraries API
Google Hosted Libraries は、最も人気のあるオープンソース JavaScript ライブラリを対象とした、安定性と信頼性を兼ね備えた高速でグローバルに利用可能なコンテンツ配信ネットワークです。 Google は、各ライブラリの取り組みにおける主要な関係者と直接連携し、最新バージョンがリリースされるたびに承認します。 ライブラリ ホストされているライブラリを読み込むには、そのライブラリの HTML スニペット（下を参照）をコピーしてウェブページに貼り付けます。たとえば、jQuery を読み込むには、<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.7.1/jquery.min.js"></script> スニペットをウェブページに埋め込みます。 ウェブサイトで HTTP のみを使用している場合でも、C
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
