Googlebotにドバっと全ページをクロールしに来てもらう方法 - ヲレサイト
Googlebotにドバっと全ページをクロールしに来てもらう方法 ブログをいじった。ほぼ全ページに影響する範囲で。 デザインを好みにいじった程度なら、キーワードには関係ないので検索エンジンにインデックスし直してもらう必要はないかもしんない。 ンですがエラーを修正したり、便利な機能を導入したりした後は、SEO効果もあるかもなのでとっととGooglebotとかにクロールしに来てもらいたいもんです。 そんな場合にヲレがやる手法の効果。現在のトコは有効なようだ。 普段は1日150ページくらいしかクロールしていかないGooglebotが、ドカンと1日1000ページ以上クロールしていく。その前後の日も500ページくらい。 このサイトのGoogleにインデックスされている全ページ数から割り出すと、多少の重複はあっても3日間くらいでほぼ全てのページをクロールしていった感じね(*￣m￣)プッ Googleb
Googlebotは画像が好き - ヲレサイト
このブログではコンテンツの画像ファイルへの検索エンジンのクロールとインデックスをずっと拒否したrobots.txt記述をしている。ゆえに画像検索で記事がヒットすることはなし。 ンですが思うところあってこの度解禁してみたのだ。 ただしクロールは許可しても、X-Robots-TagヘッダーでNOINDEXのレスポンスヘッダを返しているので画像検索にインデックスはされないはず。 というのを検証してみるのが目的（ぷ そしたらGoogleからDoS攻撃・・・って程ではないですが狂ったようなクロールが来た（￣▽￣|||） Serch Console（旧ウェブマスターツール）にしっかり記録されておる。 ぬう、クロールされたページ数は通常の10倍に跳ね上がったね。赤い彗星なんてモンじゃない（ぷ このブログは3000も記事なんて無いので、サムネイル画像のリンク先の拡大画像ファイルはページ数にカウントされてる
Googlebotのapple-app-site-associationへのアクセスがウザい件 - ヲレサイト
Googlebotのapple-app-site-associationへのアクセスがウザい件 App Indexingだか何だか知りませんが・・・ Googlebotが毎日毎日サーバーにこんなエラーログを吐かせてくれやがる（￣▽￣|||） File does not exist: /home/hoge/fuga/apple-app-site-association File does not exist: /home/hoge/fuga/.well-known/apple-app-site-association File does not exist: /home/hoge/fuga/.well-known/assetlinks.jsonどうやらこの『apple-app-site-association』ファイルを置いていろいろ書いておくと、拡張子やMIMEタイプに関係なくクライアント
bingbotにはCrawl-delayもクロール制御も効かない - ヲレサイト
bingbotにはCrawl-delayもクロール制御も効かない 頼む、もう逝ってくれbingbot・・・（￣▽￣|||） 4～5日おきにGoogle Danceならぬ、Bing Danceが来るのはなぜなんだぜ？ レンタルサーバーの性能も良くなったので、この程度は別に負荷でもなんでもありませんが・・・ウザいね。 この他にbingbotってヤツは、robots.txtファイルを1日に50～100回は読んでいきますもんね・・・ヲレのサーバーに一番アクセスしてるのは紛れもなくコイツじゃ。 もうね、毎日毎晩bingbotに代わる代わる犯されてる感じ（￣▽￣|||） Bingのwebマスターツールにある『クロール制御』の項目は、すべての時間帯で最低にしてあるんですよ。かなり前から。 隙は無いはずなんだけどなあ（￣▽￣|||） robots.txtファイルにはCrawl-delayもがっつりと記載。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
