[現在位置] Webの間 HOMEWebの間のコラム クローラビリティ 依然としてGooglebotスマートフォンのアクセスが低調傾向／2017年2月26日〜3月4日クローラー解析 先週（2017年2月26日〜3月4日）は756セッション31種類のクローラーのアクセスがありました。前週比で約11.06％の減少です。 まずはGooglebotから。PC用は313セッションから249セッションと約20.45％の減少、スマホ用は24セッションから27セッションと12.50％の増加となりました。最近2回の計測からスマホ用Googlebotはクロール数が減っています。Google検索の結果が基本的にPC・スマホ同一でありますが、インデックス時にウェブサイトのスマホ表示確認は必要なはずです。スマホ用のクロール数が減少する理由はないはずですので、今後の動きが気になります。 その他検索エンジンです。Bin

先週（2017年2月19日〜25日）は850セッション36種類のクローラーのアクセスがありました。前週より約39.34％も増加しました。そういえばGoogle Analyticsの画面も少し変わりましたね。少しの変化に戸惑ってしまうのですが、もう慣れてしまいました。 Googlebotのアクセスです。Googlebot（PC）は178セッションから313セッションと約75.84％増えています。平均セッション時間も2分8秒から9分46秒と約359.52％もの大幅増加です。解析に時間をかけていることから、アルゴリズム変更による調整を感じます。 対してGooglebot（SP）は58セッションから24セッションと約58.62％も減少しました。現状はスマホ用Googlebotの巡回を抑制しているように感じます。最終的にPCとスマホを統合するのでしょうか？ 検索結果も基本的に同一なので、分ける必要性

先週（2017年2月12日〜18日）は610セッション35種類のクローラーのアクセスがありました。前週より約8.55％減少です。 Googlebotです。ウェブ検索は約5.33％増加、スマートフォンは約54.33％減少と動きに違いが出ました。この様子を見る限り、モバイルファーストインデックスはまだ先のように感じてしまいます。 その他の検索エンジンです。Bing（bingbot）、Haosou、米Yahoo!、Yandex、百度、Bing（msnbot）、DuckDuckGoと続きます。DuckDuckGoは前週アクセスがなかったので、一週ぶりの復帰です。それ以外にも多種多用なクローラーが新規にアクセスがあったり先週はなかったりを繰り返しています。 先週のトピックスというとスマートフォンのGooglebotの現象です。通常アクセス数1位がウェブ検索Googlebot、2位がスマートフォンGo

2017年最初のクローラーアクセス数ランキングの発表です。2017年1月は51種類のクローラーの巡回がありました。 ［1位］Googlebot（Google ウェブ検索）／633セッション（前回1位：667セッション、▲約5.10％） 2017年1月も1位はウェブ検索用のGooglebotでした。平均セッション時間は2分26秒です。 ［2位］Googlebot（Google スマートフォン）／474セッション（前回2位：452セッション、△約4.87％） 2位はスマートフォン用Googlebot。平均セッション時間は1分25秒です。 ［3位］bingbot（Bing）／322セッション（前回3位：342セッション、▲約5.85％） 3位はBingです。平均セッション時間は1分2秒。 ［4位］AhrefsBot（Ahrefs）／247セッション（前回7位：78セッション、△約216.67％）

先週は667セッション36種類のクローラーのアクセスがありました。前週比約3.25％増と3週ぶりに増加に転じました。 Googlebotはウェブ検索・スマートフォンどちらも増加しました。ウェブ検索のGooglebotは約26.12％増、スマートフォン用は約28.28％増と活発な動きになります。平均セッション時間も先週より長く、ウェブ検索Googlebotは3分17秒と前週の1分45秒から約88,24％も時間が増えています。 その他検索エンジンはBing、Haosou、米Yahoo!、Yandex、百度と続きます。Yandexのみ前週より増加（約43.48増）、その他は減少となります。DuckDuckGoは先週アクセスがありませんでした。 当サイトによく巡回するSEOツールの一部です。AhrefsとMajesticは検索エンジンと同程度に定期的にアクセスしています。ちなみにAhrefsがGo

[現在位置] Webの間 HOMEWebの間のコラム クローラビリティ ［SEOクローラー対策］どのクローラーがrobots.txtの指示を無視しているのか？ インターネットの世界では検索エンジンを始め、SEOツールなど多種多様な目的でクローラーが徘徊し情報を収集しています。法律の専門家ではないので正しい解釈ではないかもしれませんが、ウェブ上でクローラーがコンテンツを収集するスクレイピング自体は問題ありません。以前、某図書館の蔵書検索システムを使いやすくするためのシステムを開発した方が逮捕されるという事件もありましたが、最終的に不起訴となりました。 ウェブ運営者がクローラーへ向けた対策としてrobots.txtというものがあります。robots.txtにクロールを拒否する命令を記述するというものです。しかし、robots.txtの内容はあくまで指示にしか過ぎません。クローラーによってはro

先週は646セッション33種類のクローラーのアクセスがありました。前週から約1.52％と2週続けて減少しました。 Googlebotはウェブ検索・スマートフォンどちらも減少しました。 その他検索エンジンのクローラーです。Bingbotがスマートフォン用のGooglebotの数字を初めて超えました。当サイトは常にウェブ検索・スマートフォン用のGooglebotが1・2フィニッシュだったのですが、初めて順位が割れました。 次いで、Haosou、米Yahoo!、Yandex、百度、DuckDuckGoと続きます。いつもとあまり変わらないクロール状況です。 また、最近Twitterへ投稿しているのですが、そのせいなのかtwitterbotのアクセス数が増えました。Twitter上で反応が増えるとtwitterbotの巡回数が増えるのですね。

+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1

Googleのクローラーが来訪する巡回頻度はSearch Console「クロール　＞　クロールの統計情報」を見ればわかります。まあ、ご覧になればわかる通り毎日来てますよね。クロールするページ数が多い日、少ない日はありますが。 そしてどのページが巡回クロールしているのかは弊社の解析ツールとGoogle analyticsを連携したものがこちら。 ページ/セッションが1.00のものは平均セッション時間も00:00:00です。これはHTMLを取得するクローリングのためのクローラーですね。詳しくはこちらもご覧ください。 ▼クローリングとパース https://www.web-ma.co.jp/column/crawlability/134.html そしてページ/セッションがあり、平均セッション時間もあるものはHTML解析（パース）をしています。解析している時間はマチマチで、2ページで約7分のも

Googleマップ最適化（MEO）という言葉があるそうです。MEOとはMap Engine Optimizationの略だとか。実店舗のサービスを運営しているとGoogleマップ対応（Googleマイビジネス対応）は必須ですので先日行ったことを備忘録として残します。 Googleマップで掲載されるには？ まずはGoogleマイビジネスに登録をします。ここではGoogleアカウントを取得済みと仮定します。以下にアクセスし、「ご利用を開始」を押します。 ▼Googleマイビジネス https://www.google.co.jp/business/ まずはビジネスを追加します。サービス名・住所・電話番号・カテゴリを入力します。「続行」を押し、利用規約に同意してビジネスの確認をします。ビジネスの確認は基本的に郵送（ハガキ）です。登録住所にGoogleからハガキが届きます。Googleマイビジネス

「変化はコントロールできない、ただその先頭に立つのみ」。消費者の皆様からは「遅すぎる」、業界内からは「早すぎる」との声の板挟みですが（汗）

先週は656セッション30種類のクローラーのアクセスがありました。前週と比較して約7.08％減少です。 Googlebotはウェブ検索及びスマートフォンどちらも減少しました。当サイトへの巡回するクローラーは1・2位がGooglebotです。これはずっと変わりありません。他のサイトでは違った結果のものもあるので、当サイトがGooglebotとのクローラー親和性が高いからとも言えます。 そしてその他の検索エンジンのアクセス状況です。先週トップのHaosouの360spiderを抜きbingのbingbotが1位となりました。次いで米Yahoo!、Yandex、百度、DuckDuckGoと続きます。 新規クローラーです。aiHit、Yisou.com、SafeDNSが新しく来訪しました。ここでは前週来ずに先週アクセスがあったクローラーを取り上げます。クローラーはサイト規模や弊社サイトとのサービス