先週はクローラーのアクセスに大きな動きがありました。アクセス数は25種類570セッションと約1.55％の減少です。 Googlebotはスマートフォン版がウェブ検索を上回りました。これはスマートフォン用のGooglebotの巡回数が増えたのではなく、単にウェブ検索用のGooglebotの巡回数が減っただけです。スマートフォン用が2％の増加に対して、ウェブ検索用は40％以上の大幅減です。こういう結果を見るとモバイルファーストインデックスの到来を予感してしまいます。 Google以外の検索エンジンのクローラーです。Yandexが大幅に増えています。Yandexはロシアの検索エンジンですが、DuckDuckGoとも提携しており、インデックス情報は提供されています。ちなみにDuckDuckGoは400以上からデータ提供を受けているので自社クローラーによるクロールを最小限にしているというお話を伝え聞

世の中にはWebクローリング＆Webスクレイピングするサービスもあります。弊社サイトもそういったサービスからのクローリングがあり、データベースに掲載されました。その情報が古かったりしていてちょっと困っています。しかし、最新の状態に保つにはマメにクロールしないといけません。正直どちらも嫌なのでクローラー対策は必須だと実感しています。 外部サイトからのiframeを許容するか否か iframeを使うことで別のHTMLを呼び出し表示することができます。昔はiframeで共通メニューを構成する、なんてこともありましたが（JavaScriptによるメニューもそうですね）、iframeは独立したHTMLとして認識されるので呼び出し元のコンテンツとはなりません。 個人的にiframeを使うのはGooglemapです。最近はiframe版が楽なので使う頻度が高いです。というように決してダメな技術とは思いま

Google Analyticsのアクセス解析を見ていると参照サイトがcdn.ampproject.orgのアクセスがありました。知っての通りAMPページから他のページへのアクセスだろうことが推測できます。実際に調べたところ、アクセス解析ではAMPページから通常ページへ遷移するとcdn.ampproject.orgのアクセスとして計測されました。しかし、それとは別にGoogleオーガニック検索でランディングページがAMPのものも計測されています。AMPのテンプレートにはGoogle Analyticsの計測タグを埋め込んでいます。なのでAMPページへのアクセスも収集しています。では、AMPページへの流入とそこから先のウェブページへアクセスした場合、Google Analyticsはどのように表示されるのでしょうか？ リアルタイムの表示を調査 まずはスマホのGoogle検索でAMPページへア

2017年1週目のクローラーの巡回状況です。先週は27種類579セッションのアクセスがありました。日々クローラーのアクセスを解析していると気付く点もあります。ちょっと困りもののサービスを見つけたので、後日改めて記事にしたいと思います。 さて、まずはGooglebotから。こちらは2017年はアクセスが若干落ちました。約10％の減少です。年明け早々は更新が少ないサイトなので、ということなのでしょうか。1月3日のクロール数が少なかったです。 その他の検索エンジンクローラーです。Haosouが減少したことと、Yandexが大幅に増加しています。Yandexは最近Googlebotを上回る日もありました。要注目ですね。 先週記載した360spiderはさらにアクセスが増えました。まあAhrefsはもっとアクセスがあるのですが。。。

先月のクローラーのアクセス状況を発表します。調べてみたら2016年11月分は発表していませんでした。忘れていたようです。 ［1位］Googlebot（Google ウェブ検索）／667セッション 前回に続き1位はウェブ検索用のGooglebotでした。平均セッション時間は1分41秒です。 ［2位］Googlebot（Google スマートフォン）／452セッション 2位はスマートフォン用Googlebot。平均セッション時間は1分17秒です。 ［3位］Bing／342セッション 3位はBingです。平均セッション時間は49秒。トップ3は前回と同様でした。 ［4位］Haosou／210セッション 次いでHaosouです。平均セッション時間は0秒。クロールしただけでした。 ［5位］Ahrefs／170セッション 5位のAhrefsはUserAgentは一致していますが、Hostが不明なものです

弊社が提供するクローラー解析ツールは日々クローラー情報をアップデートしています。見知らぬクローラーによるアクセスは日常茶飯事で、世界中にはいろんなサービスがあるものだと驚きの毎日です。 先日「aihitbot」という新しいクローラーのアクセスがありました。日本ではあまり著名ではないサービスのようで、aihitbotの情報はありませんでした。なので備忘録代わりに調べてみました。 aiHit アメリカの企業情報データベースサービス。企業情報の検索はアカウント登録なしででき、無料アカウントに登録することで企業データのダウンロードも可能。 企業データは最新のものだけでなく、過去の情報も収集しています。企業情報の変化も見れます。Aboutページにも次のように記されています。もちろん英語での記述となるのでGoogle翻訳を使いました。 ほとんどの企業情報データベースでは、会社のCEOの名前がわかります

2016年は大晦日が日曜日なので、計測の区切れとしてはちょうど良かったです。人間と違いクローラーは日々動き続けています。通常は季節要因や場合によっては天候の影響を受けますが、クローラー解析はそういう不確定な要素の影響はあり得ません。ある程度一定の法則があります。2016年最終週は612セッション27種類のクローラーのアクセスがありました。 Googlebotは前週比約14.89％の増加です。ウェブ検索・スマートフォンどちらも増えました。前週までクロールがあったGooglebot-Mobileのアクセスは先週は0でした。ついにフィーチャーフォンのクローラーは活動を休止のかもしれません。 その他検索エンジンのクローラーです。アクセスは概ね増加傾向にあります。傾向から外れるのはYandexが減少したことと、DuckDuckGoは相変わらず少ないことです。 そして、360spiderのアクセスが増

2016年最後の投稿です。今年気になったことはタイトル通りのことです。ウェブ検索用のGooglebotしかrobots.txtを見ていないのではないか、と考えています。まだきちんとした確証はないのですが、クローラーのアクセスを解析していると、どうもスマートフォン用のGooglebotがrobots.txtにアクセスした形跡がないのです。最初は「たまたまなのかなあ〜」と思っていたのですが、ず〜っと動きを見ていても全くアクセスがありません。 現状GoogleはSEOのコンテンツ評価基準においてデスクトップ版をプライマリーに、モバイル版はセカンダリに見ています。Googlebotはウェブ検索とスマートフォン、それぞれ独立しています。普通に考えるとそれぞれがrobots.txtを見て、その指示に従うのでしょう。しかし、スマートフォン用のGooglebotがrobots.txtを見ていないとするなら

Google Adsenseから収益アップのためにPageSpeedの改善提案のメールが届きました。HTMLメールにはPageSpeedの重要性を語っているページへのリンクがありました。（上記はリンク先キャプチャー画像） ▼Why is mobile speed important? https://www.doubleclickbygoogle.com/articles/mobile-speed-adds-up/ 上記ページの内容をGoogle翻訳で翻訳しました。 なぜ、移動速度が重要なのですか？ 私たちのモバイル第一世代では、世界のすべての情報を手に入れただけではなく、探している瞬間にそれを得ることが期待されます。 残念ながら、ほとんどのモバイルサイトは、ネットワーク速度の大幅な向上にもかかわらず、この期待に応えられません。 サイトの読み込みが遅いと、ユーザーエクスペリエンスの悪いユー

2017年は今までよりも拡販しようと考えて準備をしています。2016年後半は準備も兼ねてコンテンツを拡充する方向で進めていました。コラムを日々書いているのもその一環です。ようやくホームページ制作ももっと取り組めるようになり、そのためのページを増やしました。 ▼ホームページ制作について https://www.web-ma.co.jp/homepage/ 今までは紹介メインであまり積極的に広げてはきませんでした。そのため深くWeb戦略に関わることができました。その結果としてB2Cで月間反響数100件以上獲得、B2Bでは会員獲得月間300件以上という実績も残せました。その実績を元にもっと販路を増やそうと考えています。弊社が行うホームページ作成は以下を考慮しています。 クリエイティブ 目的に即したクリエイティブを作成します。弊社はシステム開発も含めてご要望に応えられるだけの実績もございます。不動

2016年最後の週です。今週の集計は年始に行うので、今年最後のクローラーの動向発表となります。さて、先週は592セッション、31種類のクローラーがアクセスしました。約0.17％増加です。 Googlebotのアクセスは相変わらず一番多いです。ウェブ検索用クローラーがやや減少し、スマートフォン用は増えました。が、著しく状況が変わった印象はありません。フィーチャーフォン用のGooglebot-Mobileは廃止と発表されましたが、まだ巡回していますね。 ▼フィーチャーフォン用のクロールとインデックスが変わります https://webmaster-ja.googleblog.com/2016/12/an-update-on-googles-feature-phone..html その他検索エンジン、bing・Haosou・米Yahoo!・百度・Yandex・DuckDuckGoです。当サイトで

クローラーは任意のページに対して一度アクセスして終わり、という訳ではありません。毎日、または数日おきにウェブページが存在しているかどうか、ページの内容が変わっているかどうか、クロールします。場合によっては日に何度もアクセスします。これは他の検索エンジンよりも特にGoogleはその傾向があります。 特定のページに対する各クローラーのアクセス状況です。Googlebotのクロール頻度は他のクローラーと比較して段違いの多さです。スマートフォン用のGooglebotのクロール頻度が少ないことからも、まだモバイルファーストインデックス導入前なのが推測できます。モバイルフォーストインデックス導入後はこの数字が逆転するのだろうと予測しています。 クロール頻度（クロール数）とサイトの品質に相関はあるのか？ 「ない」だろうと言いたいところです。しかし、Search Console ヘルプを見ると気になる一文

モバイルファーストインデックス導入後に外部指標で変わるだろうポイントは「モバイルサイトからはリンクがなくなるケース」と考えています。色々とサイトを見ていると、モバイルファーストインデックスで影響を受けないだろうケースと受けるだろうケースがあります。 デスクトップ版とスマートフォン版でリンクが変わらない場合 全く縁がない場所ですが、砂川市ホームページはモバイルファーストインデックス導入後も変わらないと想定するリンクです。砂川市ホームページはレスポンシブで一部情報をCSSで表示・非表示を切り替えています。ページ上部のナビゲーションはデスクトップ版は画像リンクですが、スマホ版はテキストリンクです。モバイルファーストインデックス導入後に内部リンクの評価が高まるかもしれません。 そして、砂川市ホームページのリンク集はデスクトップ版もスマホ版もどちらもaタグのテキストリンクとして存在しています。このリ

既にアナウンスがあったので予定通りではありますが、PageSpeed Insightsからユーザーエクスペリエンスのテストがなくなりました。今後はモバイルフレンドリーテストでチェックをします。 新しいPageSpeed Insightsはこちら。ページ上部にモバイルフレンドリーテストへの導線が追加されています。 ▼PageSpeed Insights https://developers.google.com/speed/pagespeed/insights/ 当サイトのテスト結果はこちら。改めて行いました。「ブラウザのキャッシュを活用する」と「画像を最適化する」はFacebookのプラグインとGoogle Analyticsに対する指摘なのでどうしようもできません。「サーバーの応答時間を短縮する」はサーバーが最近重いんですよね。普通のレンタルサーバーなので限界があります。と、言い訳をして