管理サイトのコンテンツをAppleがAI学習に利用するのを防ぐ方法
[レベル: 上級] 管理するウェブサイトのコンテンツが AI の学習に利用されないようにする方法を Apple は提供しました。 Applebot-Extended を新規導入 Applebot-Extended というユーザーエージェントのクローラを Apple は新たに公開しました。 Applebot-Extended について、Apple は次のように説明しています。 Appleは、二次的なユーザーエージェントである Applebot-Extended を導入しており、これによりWeb発行者は、Apple がウェブサイトのコンテンツをどのように使用できるかについて、より詳細な制御が可能になります。 Applebot-Extendedを使用することで、ウェブ発行者は、Apple Intelligence、サービス、開発ツールなどの Apple 製品全体で生成 AI 機能を強化する Ap
robots.txtの5xxエラーは30日を境にクロールの処理が変わる
[レベル: 上級] REP のインターネット標準化に伴い、Google が公開している robots.txt の技術ドキュメントに更新が入りました。 ※この記事を公開した時点では、日本語ページは未更新。 robots.txt が 500 番台のエラーを返すときの処理が変わりました。 30 日まではクロールしない、30日を超えるとクロールを再開することも 30 日間まではクロールを完全停止 robots.txt が 5xx エラーを返す場合、30 日間まではそのサイトのクロールを完全に停止します。 言い換えると、サイトのクロールが完全に拒否されていると検索エンジンはみなします（503 エラーを返す場合は、robots.txt 取得のための再試行はほかの 5xx エラーよりも頻繁になる）。 robots.txt が 5xx エラーを返すと、検索結果からサイト全体が消えることもあるので注意が必要
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
