タグ

robots.txtに関するtuffgong57のブックマーク (10)

  • dfltweb1.onamae.com – このドメインはお名前.comで取得されています。

    このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日のドメイン登録業者(レジストラ)(「ICANNがレジストラとして認定した企業」一覧(InterNIC提供)内に「Japan」の記載があるもの)を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。

    dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
  • 【保存版】あなたのサイトがGoogleにインデックスされない8つの原因 - ホワイトベアー株式会社

    Googleにインデックスされなくて焦った経験ありますよね。 私自身もSEO仕事をはじめて間もないころは、なぜインデックスされないのか原因が分からず手探り状態でした。 そこで今回は、私が出くわしたインデックスされない原因をまとめて紹介します。 Googleにインデックスされない8つの原因 1.ペナルティを受けている ペナルティ(特に手動対策)を受けている場合にサイト全体(もしくは一部のページ)のインデックスを削除される為です。 サーチコンソール(旧ウェブマスターツール)の手動対策の項目に通知が無いか確認してみましょう。 手動対策が来ていたら解除する必要があります。 具体的な解除方法は以下のページを参照して下さい。 参考ページ: 『実質のないコンテンツ』ペナルティを解除する方法 少数の外部リンクで手動ペナルティを受けた時の対処方法 2.robots.txtの設定 robots.txtは、検

    【保存版】あなたのサイトがGoogleにインデックスされない8つの原因 - ホワイトベアー株式会社
  • 初心者にも分かる!robots.txtの作り方

    robots.txtとは?robots.txtとは、GoogleYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい?robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。

    初心者にも分かる!robots.txtの作り方
  • モバイルフレンドリーアルゴリズム導入によるスマホ対応の必要性 | SEOのホワイトハットジャパン

    モバイルフレンドリーアルゴリズムで、スマホ対応サイトが優遇されるアルゴリズムについての解説を行います。アルゴリズムの詳しい内容、対応が急がれるサイトと焦らなくても良いサイト、具体的な対策方法とそのメリットを画像も踏まえて詳しくご説明いたします。 The post モバイルフレンドリーアルゴリズム導入によるスマホ対応の必要性 appeared first on SEOのホワイトハットジャパン.

    モバイルフレンドリーアルゴリズム導入によるスマホ対応の必要性 | SEOのホワイトハットジャパン
  • ウェブマスターツールに2つの新機能: ブロックされたリソースとFetch as Googleレンダリング比較

    [レベル: 中級] Googleは、2つの新しい機能をウェブマスターツールに追加しました。 ブロックされたリソース Fetch as Googleのレンダリング結果比較 順に説明します。 「ブロックされたリソース」はまったく新しい機能です。 JavaScriptCSS、画像などのコンテンツのレンダリングに必要なリソースがrobots.txtでブロックされていた場合、その状態をレポートします。 「ブロックされたリソース」機能へは「Googleインデックス」メニューからアクセスできます。 サイト全体にわたってGoogleがブロックを検出したリソースが存在するサイトのドメイン名のURL(ホスト)が表示されます。 上のキャプチャでは外部のサイトが2つレポートに出ていますが、サイト内のリソースのブロックを検出した場合は自分のサイトのドメイン名のURLが表示されます。 ドメイン名のURLをクリックす

    ウェブマスターツールに2つの新機能: ブロックされたリソースとFetch as Googleレンダリング比較
  • ペンギンアップデートにやられたサイトを別ドメインで新規に作り直す安全な方法

    [対象: 上級] 過去に積み上げてきた不正なリンクがペンギンアップデートによって見破られ、どんなに頑張っても削除しきれずにそのドメイン名での運用を断念し、新しいドメイン名のサイトでゼロからやり直そうと決断したとします。 このとき過去の負債を引きずりたくありません。 つまりリダイレクトを使えません。 とはいえ、何も対処しない状態で新規にサイトを公開したら、以前のサイトに訪問したユーザーには気付いてもらえません。 ゼロからスタートしつつ、新サイトへの移転をユーザーに知ってもらうにはどうしたらいいのでしょうか? 数々のペンギンアップデート対応に取り組んできた実績があるMarie Haynes(マリー・ヘインズ)氏が、Search Engine Watchでこの方法について記事を書きました。 ペンギンアップデートからの回復をあきらめたサイト管理者に役立つ内容です。 そこで要点をまとめて紹介します。

    ペンギンアップデートにやられたサイトを別ドメインで新規に作り直す安全な方法
  • それは robots.txt の問題じゃなくて...

    なんか robots.txt がホットなキーワードになっていたので今さら知ったのですが、通信機器レンタルサービスの会社さんがクレジットカード情報をど派手に流出させたた件で、サイトに設置されていた robots.txt が色々と残念な件について話題になっていました。 robots.txt : はてなブックマーク 不正アクセスによるお客様情報流出に関するお知らせとお詫び : エクスコムグローバル株式会社 情報が流出した直接の原因は SQL インジェクションによる攻撃を受けたとのことで、同サイトの robots.txt が何の経緯で話題になったのかはわかりませんが、robots.txt の内容から、CMS に Drupal を使ってるらしいことや、Drupal のパッケージに同梱されてくる robots.txt ほぼそのまま設置されている件、さらにその、Drupal の古いバージョンには XSS

    それは robots.txt の問題じゃなくて...
  • [web制作]humans.txt ― webサイトに基本情報を設置しよう

    robots.txtとは robots.txtは、検索エンジン向けの情報を記述したテキストファイルで、書式に従って書くことで検索エンジンのクローラーにクロールして欲しくないページを知らせたりします。というか、まあ基的に出来ることはそれのみですね。例えば、 User-Agent: * Disallow: / こうrobots.txtに書くとルート以下全てのファイルへのクロールを禁止します。 決められた書式があって、それに沿った形で書かれていればクローラーはある程度いう事を聞きます。 humans.txtとは robots.txtがロボットの為の説明であるなら、humans.txtは人間の為の説明です。人間がサイトについて受け取りたい情報としては誰が書いたのか、何を使って書かれたのか、というようなことでしょうか。 そしてこのhumans.txtを設置する事を推奨するサイトもあり、面白いなーと

    [web制作]humans.txt ― webサイトに基本情報を設置しよう
  • robots.txtを作成する上で気をつけるべき9つの注意点 – 和洋風KAI

    和洋風KAIは、Apple・水樹奈々・べ歩きが三柱のブログです。モットーは「楽しく」「便利で」「端的に」。 ⇒ アバウト ⇒ 免責事項 注意1 robots.txtとは? クローラーに自分のウェブサイトのどこにアクセスしてはいけないかを教えることができるテキストファイル。 注意2 robots.txtのファイル名 ファイル名は「robots.txt」 「robot.txt」でもなく「Robots.txt」でもない。 注意3 robots.txtを置く場所。 あなたのウェブサイトのトップフォルダに置く。 例えば、http://example.comがトップページだった場合、http://example.com/robots.txtに置く。 注意4 robots.txtの書き方の基的な例 User-agent: * Disallow: /forbidden/ Allow: /approv

  • 大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴

    robots.txtとは robots.txtは、検索エンジンのクローラー(bot)に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:(ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能) Crawl-Delay:(クロールの時間間隔を指定) Disallow:(クロールされたくないページやディレクトリを指定) Allow:(Disallowで指定されたディレクトリの小階層で

    大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
  • 1