graphql api pythonの検索結果1 - 2 件 / 2件

• あとで読む

  【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

  • 540 users
  • zenn.dev/fp16
  • テクノロジー
  • 2024/07/31

  こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

  • スクレイピング
  • あとで読む
  • web
  • API
  • html
  • プログラミング
  • scraping
  • Playwright
  • js
  • LLM

  
• あとで読む

  Netflixにおける実用的なAPI設計: gRPCとFieldMask | pyspa

  • 511 users
  • blog.pyspa.org
  • テクノロジー
  • 2021/10/17

  Netflix Tech BlogのgRPC APIに関する以下の２つの記事に感銘を受けたので、ここにその概要を日本語で記します。 (めんどくさかったので)翻訳の許可は取ってませんが、再構成してますし元のJavaではなくPythonで書き直していますので、容赦して下さい… Practical API Design at Netflix, Part 1: Using Protobuf FieldMaskPractical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation OperationsまとめgRPCでは、FieldMaskをうまく使うことで、必要な情報だけ取得したりあるいは与えたりしたりできまっせ第一部まずField Maskをどのように使うかを述べています。 背景Remote Callというものは、そもそもコ

  • grpc
  • あとで読む
  • api
  • 設計
  • netflix
  • python
  • 開発
  • dev
  • design
  • development