大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
マンガ☆ライフ |『ゼノグラシア』と無条件に貶される風潮について
『アイドルマスターゼノグラシア』を貶すことは様式美的なギャグであり、『ゼノグラシア』は誰もが無条件にけなしていいと考えている人達がいるのだが、そういう人達が『ゼノグラシア』を貶したり、駄作であることを前提としたギャグとして用いる度に俺のような本気でゼノグラシアが好きな一部のファンが迷惑を被るという構図は本当にどうにかならないものか。 いや貶したくなる側の人間の心境は良く理解できる。 俺もアーケードで稼働していた頃からのファンであり「アイドルマスターがアニメ化！」と聞いて喜んだ一人だから。蓋を開けてみれば声優は全部変わってるし、設定も変わってるし、そもそもロボット物でSFだしで「アイドルマスターらしい要素」というのは名前ぐらいのもので、そもそも「アイドルマスター」という言葉の意味するところも大きく変わっていた。 そういう「自分が好きなアイドルマスターがアニメ化すると思ったら、首だけすげ替える
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
