大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
IE11 でユーザエージェント文字列から 「MSIE」 が消えた件
IE11 になって機能追加やレンダリングエンジン周りの進化もかなりありましたが、それとあわせてユーザエージェント文字列が大幅に変更されました。 先月末に Windows 8.1 のプレビュー版が公開され、早速手持ちの MacBook Pro に入れてみたっていう話は先日書いたとおりですが、Internet Explorer 11 （IE11） については細かく触れなかったのでまとめておこうと思います。 IE11 になって機能追加やレンダリングエンジン周りの進化もかなりありましたが、それとあわせてユーザエージェント文字列が大幅に変更された結果、従来のブラウザ判別コードで検出できなくなる可能性もあったりします。その辺について Nicholas C. Zakas 氏が Blog 記事を上げていたので紹介しつつ触れてみたいと思います。 とりあえず、IE11 の概要とか 公式情報として、IEBlog
The Opa Language
1. One Language to Rule Them All Write simultaneously the frontend and backend code, in the same language, within the same module. Even better: the Opa Slicer automates the calls between client and server. No more manually written AJAX calls or value serialization! And when auto is not enough, add hints to the code to enforce client or server-side, privacy, synchronous or asynchronous.
Twitterへ投稿されるURLのリンク先を変更しました - はてなブックマーク開発ブログ
いつもはてなブックマークをご利用いただき、ありがとうございます。 先週、告知いたしました通り、はてなブックマークと連携しているTwitterアカウントへ投稿されるURLのデフォルトのリンク先を、ブックマークされた元ページから、コメント一覧ページに変更いたしました。 コメントを大きく表示します Twitterへ投稿された短縮URLからコメント一覧ページへ遷移すると、投稿したユーザー様のコメントを大きく表示します。この表示は、Twitterへ投稿された短縮URLから遷移した場合のみご覧いただけます。強調されているコメントのパーマリンクではないので、ご注意ください。 リンク先は設定で変更できます リンク先は設定画面から選べます。ブックマークした元ページへ再設定できます。 PCでは、「設定」→「Twitter」→「ブックマークをTwitterへ投稿」に、「投稿するページ」という項目が追加されていま
Welcome
Our documentation hub is here to help you create and deliver beautiful video experiences with the most powerful video APIs on the web. Before you can begin using JWP's services, you need a JWP user account. Use one of the following options to obtain your user account: I am a user at company that already uses JWP. Request an account from your company admin. Follow the instructions in the welcome em
Cascading Style Sheets (CSS) Working Group charter
Scope The CSS WG develops the following, somewhat independent technologies: A syntax for associating information with elements in a structured resource, in particular SGML and XML documents. The main part of the syntax consists of rules that associate properties + values with selectors where the selectors are expressions that match elements in the structured document, based on their position in th
Google アナリティクスで使われるクッキーについて __utma / __utmb / __utmz - こせきの技術日記
公式な仕様は無さそう。ソースを読むのは厳しい。整形しただけでは全然読めなかった。 クッキー 4種類 現行バージョンの ga.js が使用するクッキーは、主に4つ。 __utma ユーザを識別。2年有効。 __utmb 今回のセッションを識別。30分有効。 __utmz どこから来たか。リファラ。6ヶ月有効。 __utmv カスタム変数。2年有効。 __utma, __utmb, __utmz は、ga.js が実行されたときに、無かったら作られる。 __utmv は、_setCustomVar() で作られる。 有効期間は、最後に更新した時点からカウントする。4つとも、GAにデータが送られる度に更新される。 たとえば __utma なら、ユーザが2年間サイトに来なかったら消える。2年以内に再度アクセスすると、そこからまた2年の有効期間が与えられる。 他に、 __utmc 古いバージョンであ
.inドメイン名停止とwhois公開代行:Geekなぺーじ
今日(4月30日頃)、一部の人々の間で「うちのWebサイトで使ってる.inの名前解決が出来なくなった！」という悲鳴が聞こえています。 数年前、インドのccTLD(country code Top Level Domain)である「.in」を日本国内のWebサービスで使うのが流行しました。 「.in」は「イン」と読めるため語呂が良く、個人が気軽にWebサイトを作ったときに、ドメイン名も同時に登録するというのが流行ったわけですが、そのときにwhoisで世界に向けて連絡先(個人であれば氏名住所電話番号の場合もあり)を公開されるのは嫌だということで、whois情報公開代行サービス(もしくはプライバシー保護サービス)を使うというのが割と一般的に行われていました。 しかし、その.inのレジストリであるINRegistryが、whois情報公開代行サービスを利用しているドメイン名を次々と停止しているよう
Bower
...psst! While Bower is maintained, we recommend using Yarn and Vite for front-end projects. Read how to migrate! Web sites are made of lots of things — frameworks, libraries, assets, and utilities. Bower manages all these things for you. Keeping track of all these packages and making sure they are up to date (or set to the specific versions you need) is tricky. Bower to the rescue! Bower can mana
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Gecko Reflow Visualization - mozilla.org
Gecko Reflow Visualization - mozilla.org
wesleyhales.com: Adventures with the Skia Debugger
Debugging jank, reflows, etc... The Skia debugger was mentioned a few weeks ago at EdgeConf as a way to examine how the DOM is loaded and processed in the Chromium web browser. Skia is the open source C++ graphics library backing Chromium/Chrome. It comes with a graphical tool used to step through and analyze the contents of the skia picture format. If you haven’t watched this video, I recommend y
HTML5 Canvasのブラウザによって異なる微妙な振る舞いについてまとめてみた。 - 風と宇宙とプログラム
はじめに CanvasはHTML5とは切り離された独立した仕様(HTML Canvas 2D Context)になっているようですが、現状のブラウザ上でのCanvasのについて、普段はあまり気にしない微妙な振る舞いについて調べた結果をまとめてみました。 調べたブラウザの各バージョンは以下の通りです。 Firefox Chrome Safari Opera 3.6.8 6.0.490.1 dev 5.0.1 10.61 線を描く (lineTo) ただの直線を描くだけのlineToですが、その単純なものにも、恐らく、多くの人が普段は気にしないような問題があります。それは座標値とアンチエリアスです。詳しく見る前に、実際の結果を示しましょう。下記のイメージ中に描かれている線は、いずれも線幅(lineWidth)が1の線です。 (左から、Firefox, Chrome, Safari, Opera
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Genymotion - Android Emulator in the Cloud and for PC & Mac
Tridiv | CSS 3D Editor
tinytype
TLDRLegal - Software Licenses Explained in Plain English
マーケティング戦略設計 :: 株式会社イノーバ
Floobits: Cross-editor real-time collaboration
https://creative-tweet.net/blog/2013/01/material-download.html
