HTTPステータスコードをGooglebotはどのように処理するのか？ Googleが詳細に解説
[レベル: 上級] HTTP ステータスコードとネットワーク/DNS エラーに関する技術ドキュメントを Google は検索セントラルサイトに新規に公開しました。 この記事では、概要と、特に重要な部分を紹介します。 Google 検索での HTTP ステータスコードの扱い HTTP ステータスコードの定義は RFC 7231 などで定められています。 しかしながら、Google 検索は独自の扱いをすることもあります。 Googlebot がウェブをクロールしてきたなかで最も多く返された 20 種類のステータスコードの扱いをドキュメントは説明しています。 2xx/3xx/4xx/5xx の最終的な扱いは基本的に同じ ステータスコードは次の 4 つのカテゴリに大別できます。 200 番台 (2xx) 300 番台 (3xx) 400 番台 (4xx) 500 番台 (5xx) 基本的に、それぞ
まだ await 使ってないの？ - Qiita
非同期プログラミングが熱い pythonで並列処理を実現するにはすごくざっくりいって３つの選択肢がある。 マルチスレッド方式 (モジュール名: concurrent.futures, threading) マルチプロセス方式 (モジュール名: concurrent.futures, multiprocessing, subprocess) 非同期I/O方式 (モジュール名: asyncio) マルチスレッド方式はスレッドセーフにプログラム作るのが本当に（本当に！）難しいし、マルチプロセス方式はデータの共有が煩雑。これに比べて非同期I/O方式はめちゃくちゃ簡単に並列処理が書けるので CPU処理が主体でないような処理では、非同期I/O方式による実装が人気を集めている( 非同期I/O方式では1CPU しか使えないのは注意)。非同期I/O方式の興隆は python に限ったことではなく、Javas
【1万部突破】Pythonクローリング&スクレイピングの発売から約1年 - orangain flavor
先月ツイートしましたが、Pythonクローリング&スクレイピングは第5刷となり、累計発行部数が1万部を突破しました。 【1万部突破！】Pythonクローリング&スクレイピングの増刷（第5刷）が決まり、発売1年足らずで累計発行部数が1万部を突破しました！読者の皆様、書評を書いてくださった皆様、レビュワーをはじめとする関係者の皆様に改めてお礼申し上げます。今後ともよろしくお願いします。 https://t.co/jrJxo9iCuC— かと (@orangain) 2017年11月10日 評価 1万部突破にあたって http://scraping-book.com/ を更新する際に、ブログでの書評をまとめたのですが、とても良い評価をいただけていて嬉しく思います。 Amazonのカスタマーレビューは13件も書いていただき、★4.3と高い水準が継続していて本当にありがたいです。 「Rubyによるク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
過去のホームページを収集・公開しているウェブアーカイブサービス7選
