[レベル: 初級] パソコン用 Googlebot によるクロールとインデックスを 2024 年 7 月 5 日以降 Google は完全に終了します。 検索セントラルブログでアナウンスがありました。 ウェブサイトをクロールするのは スマートフォン用 Googlebot だけ 2023 年 10 月末に、モバイル ファースト インデックスへの移行が完了したことを Google は宣言していました。 しかし実際には、モバイル ファースト インデックスに対応できていないごく一部のサイトについては、パソコン用 Googlebot によるクロールを継続していました。 ですが、2024 年 7 月 5 日以降は、モバイル ファースト インデックスに対応していないこうしたサイトのクロールもスマートフォン用 Googlebot で実行します。 もし、スマートフォン用サイトのコンテンツを省略していたり、あ

[対象: 上級] Internet Archiveが提供するWayback Machineを使うとウェブページの過去の状態をアーカイブ（保存）できます。 新規に取得するドメイン名がスパムサイトでなかったかを確かめたり中古ドメインを悪用利用する際に以前に何をテーマにしたサイトだったかを調査したりと、そのサイトの過去の姿を知るときに重宝します。 Wayback Machineは現在、4,110億のウェブページをアーカイブしているとトップページに出ています（ちなみにGoogleがクロール/インデックスしたURLは60兆！）。 ところが自分が見たいURLがアーカイブされていないこともありえます。 独自のクローラでWayback Machineはウェブページを取得します。 しかし僕たち自身が手動でアーカイブさせることも可能だと知っていたでしょうか？（僕は知ったばかりです）。 Wayback Mach

今日は、いつか書こう書こうと思って、そのままにしておいた「robots.txt」にの書き方・書式について書きます。 robots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。 robotではなく、robotsです。 robots.txtはサーチエンジンのクローラ（スパイダー）の、ファイルとディレクトリへのアクセスを制御するために使われます。 「secretsというディレクトリにあるファイルにはすべてアクセスさせたくない」とか、「himitsu.htmlというファイルだけはアクセスさせたくない」という使い方ができます。 「アクセスさせたくない」というのは、「インデックスさせたくない」すなわち「検索結果に表示させたくない」ということです。 「なぜ、検索結果に表示させたくないの？」と疑問に思うかもしれません。 さまざまなケースがあります。 たとえば、URLを自分が教え