大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
iCloudハック事件の手口がガード不能すぎてヤバイ | fladdict
GizmodeのライターがiCloudのアカウントを乗っ取られ、iCloud消滅、iPad, iPhone, Macのデータワイプ、Gmail, Twitterの乗っ取りを食らった件について、ハッキングを本人が語ってらっしゃる。 手口としては典型的なソーシャルエンジニアリングによる、複数サイトから得た情報のギャザリングを用いたハック。 だがこのハッキングのプロセスが鮮やかすぎてヤバイ。ツールを一切つかわず電話だけでハッキングしてる。 Twitterアカウントに目をつける 元々クラッカーは、Gizライターの持っていた「３文字のTwitterアカウント」が欲しくてアタックをかけたらしい。 Twitterプロフィールから、本人のウェブサイトへ 本人のウェブサイトからGmailのアドレスを発見 Gmailで「パスワードがわからない」から再発行 再発行メール用のアドレスが画面に表示される。この m*
TechCrunch | Startup and Technology News
Byju’s is cutting 500 to 1,000 more jobs at the firm, this time eliminating several non-sales roles as well, as the Indian edtech giant pushes to improve its finances, according to a person fami While platforms like Reddit and Twitter are changing rules and making life difficult for developers of third-party clients, the ecosystem of Mastodon apps is still growing. Today, indie developer Jake
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
