Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に
[レベル: 上級] robots.txt の仕様を標準化する取り組みに Google は着手しました。 背景 背景を完結に説明します。 検索エンジンのクローラ――Google で言えば Googlebot――のクロールを制御するために robots.txt を利用できます。 robots.txt の仕様を Robots Exclusion Protocol (REP) と呼びます。 REP はもともと Martijn Koster（マーティン・カスター）氏によって 1994 年に考案された仕組みです。 クローラがクロールするときに、過度な負荷をサーバーにかけることを防ぐことが目的でした。 ちなみに、Koster 氏自身がウェブサイトを管理するウェブマスターでした。 仕様の公開以来 25 年、REP は幅広く使われるようになり事実上の標準になりました。 現在、5 億のサイトが使用しているとの
緊デジについて圧力を受けたので増田に書きます
とある特定の会社については触れるな、責任を問う様な記事を書くなと言われましたが 関係者に緘口令が敷かれ証拠の揉み消しが行われているため、増田にてリークします。 既報にて触れられた箇所は冗長になるため削除しています。 2013年3月に終了した事業で2015年11月時点で配信されない、配信についての期限も切られないのはさすがに民間からすればおかしいのですが、「それではいつ配信されるのか」などの疑問すら封殺して圧力を掛けるのはやり過ぎでは無いでしょうか。 内部資料を入手した上で記事にしているという証拠のため、手元の一部資料を上げておきます。 https://drive.google.com/file/d/0B2eVxJtFskpeNUZURkVjSGZCRms/view?usp=sharing ---------------------------------------------------
HTTP2 のフロー制御 - Qiita
この記事は HTTP2 Advent Calendar の 1 日目の記事です。 初回は、執筆時点での最新ドラフトである HTTP2-draft16 のフロー制御(Flow Control) について解説します。 余談ですが, 現在の仕様では "HTTP2.0" ではなく "HTTP/2" もしくは "HTTP2" が正しい名称です. 更新 @kazu_yamamoto さんに指摘頂いた点を反映しました。 @kiri__n さんに指摘頂いた点を反映しました。 詳細については 更新履歴 をご覧下さい。 HTTP2 では、同じホストへの複数のリクエストを、同一の TCP コネクション上にストリームという単位で多重化することができるようになりました。 フロー制御とは、例えばひとつのストリームがリソースを占有してしまうことで、他のストリームがブロックしてしまうことを防ぐ、といった目的で行われます。
知らないといつまでたってもHTMLとCSSが理解できない暗黙の仕様4つ
調べる。 備忘録としてwebやデザインについて調べたり 新しく知ったことなどを書き残していくカテゴリです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
