大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
「ポンコツのほうが、やりやすいです」 - いつか電池がきれるまで
参考リンク（１）：正しすぎて辛い（はてな匿名ダイアリー） これを読んで、いろいろと考えるところがあって。 このエントリのブックマークコメントを読むと、ああ、ネットで愚痴なんかこぼすもんじゃないな、とは思いますよね本当に。 あの、実はですね。僕も5年前にこんなエントリを書いていたんですよ。 参考リンク（２）：「正しいこと」の牢獄（琥珀色の戯言） まあ、若気の至りといえばその通りではありますし、いま読むと、かなり恥ずかしい。 いま、40歳も過ぎてしまって、子どもがひとりいて、という状況で、「正しすぎて辛い」を読んで感じるのは、「ああ、こういうのってつらいよね。でも、たぶん夫の側も『正義超人』じゃないんだろうな」ということなんですよ。 そしてたぶん、夫としては「追い詰めている」なんて思ってはいない。 僕にも似たような経験がありまして、で、思い切って言ってみたんですよ。 「そんなふうに正論で追い詰
ドリームクリエイター｜クリエイターを応援する新・音楽番組｜テレビ東京
テレビ・ラジオ放送についてのサイト 現代では、技術技術の発展により、メディアやコンテンツ発信の方法が変わりつつあります。 近年、日本放送教会（NHK）の体制や集金問題などの議論に見られるように、放送業界もビジネスモデルの転換期に来ています。このブログを通じて、現代における放送局の役割について考え直す機会を提供できればと思っております。 テレビとYouTubeの境界 3 Jul 2021 現在では多くの芸能人がYouTubeにチャンネルを設けています。これはテレビという従来型のメディアと、YouTubeという新しいメディアの境界が曖昧になったことを意味します。 Kommentera → TVerの登場 26 May 2021 インターネット時代となり、若者のテレビ離れが進んでいく中、各テレビ局も生き残りをかけて必死になっています。それが民放5社の協力を促し、無料でTV番組が見れるサービス「T
マンガ☆ライフ |『ゼノグラシア』と無条件に貶される風潮について
『アイドルマスターゼノグラシア』を貶すことは様式美的なギャグであり、『ゼノグラシア』は誰もが無条件にけなしていいと考えている人達がいるのだが、そういう人達が『ゼノグラシア』を貶したり、駄作であることを前提としたギャグとして用いる度に俺のような本気でゼノグラシアが好きな一部のファンが迷惑を被るという構図は本当にどうにかならないものか。 いや貶したくなる側の人間の心境は良く理解できる。 俺もアーケードで稼働していた頃からのファンであり「アイドルマスターがアニメ化！」と聞いて喜んだ一人だから。蓋を開けてみれば声優は全部変わってるし、設定も変わってるし、そもそもロボット物でSFだしで「アイドルマスターらしい要素」というのは名前ぐらいのもので、そもそも「アイドルマスター」という言葉の意味するところも大きく変わっていた。 そういう「自分が好きなアイドルマスターがアニメ化すると思ったら、首だけすげ替える
日本よ、これがイケダハヤトに絡むはてなブックマーカーだ！
こんなことを書くと「イケダハヤトを擁護するな！」といつものように匿名の方々から罵詈雑言を浴びせられそうですが、いつもはてなブックマークでイケダハヤト氏に対してネガコメをつけている人のリストをさくっと作ってみました。 id:hagex この人は面白いですねぇ。 この人のブログをきっかけにイケダハヤトに絡むようになった人も多いのでは。 id:world-is-yours この人もいつもブログでイケダハヤト氏のことを書いてますねぇ。 リンクをウェブ魚拓にするのさえやめていただければいいのですが…。 id:raf00 切り込み隊長にべったりのポジショントークがうざいですねぇ。 id:okra2 いつも悪口言ってくれますねぇ。 id:pkm 飽きた飽きたと言ってるけどいつまでもコメントしてる人。 いますよねこういう人。 id:a_matsumoto この人も飽きたって言ってますねぇ。 そのコメントに
これが投稿されたのが２０１３年３月３１日 そして、この投稿がブクマされ..
これが投稿されたのが２０１３年３月３１日 そして、この投稿がブクマされだしたのが２０１３年４月８日 で、その後（２０１３年４月９日に日付が変わってから？）になって「追記」と訂正がされた 追記 途中に僕と書いてしまいましたがイケダハヤト氏の間違いでした。 ブクマされ始めるまでに一週間以上あったわけだけど、そこで突っ込まれるまで「僕」と「イケダハヤト氏」の混同に気づかなかった元増田。ブコメで突っ込まれてようやく「追記」を始めた元増田 投稿から一週間経ってブクマがつき始めて、そこでの突っ込みブコメが出た直後に投稿に「追記」をしてたってことは、投稿のブコメ状況を一週間以上常にチェックしてたってことだよね。そして、そこまでチェックしていながら、「僕」と「イケダハヤト氏」の混同には突っ込みが入るまで気づかなかった元増田 元増田は「僕」と「イケダハヤト氏」を同一視している人だったのかな？ あるいは、コン
全国的に話題の『武雄市図書館』に行ってみた。
▼関連記事 この記事を公開後、武雄市職員さんより1通のメールをいただき、1週間後に武雄市職員さんに武雄市図書館を案内していただきました。こちらの記事もご覧ください。 全国的に話題になっているようですね。武雄市図書館に行ってきました。 各方面から賛否両論さまざまな意見があるようです。ボクは武雄市民ではないので、お前に関係ないじゃないか！と、いわれればそれまでですが。。。 正直、現地に行ってみるまで、ボクはツタヤ運営にどちらかと言えば賛成派でした。しかし実際に行ってみると意見が大きく変わりました。 自分の暮らす街の図書館がツタヤ運営になり、スタバも併設しますよ。ということになったらボクは断固反対します！ みなさんは図書館といえば、どんなイメージを思いうかべますか？ボクが思い描く図書館のイメージは、落ち着いた雰囲気で館内は静かで、利用者同士がお互いを気遣いながら書籍を選び、読書や勉強をゆっくりで
eBook Japanの発表資料に見るパスワードリスト攻撃の「恐ろしい成果」と対策
eBook Japanに対する不正アクセスについて、詳細の発表があり、いわゆる「パスワードリスト攻撃」であることが発表されました。 前回のご報告までは「複数のIPアドレスからログインページに対して機械的に総当たり攻撃等を行う大量アクセス行為（ブルートフォースアタック）」とご説明しておりましたが、詳細調査の結果、「不正の疑われる複数のIPアドレスからログインページに対して、予め持っていたログインIDとパスワードの適用可否を試行する大量アクセス行為」であることが判明いたしました。 つまり、大量アクセス行為を仕掛けてきた者は、当社以外の他のサービスなどで他のサービスのログインIDとパスワードを不正に入手し、ユーザーがログインIDとパスワードを共通に設定している可能性を狙って当社サービスに不正にログインしようとし、上記件数についてはログインに成功してしまったということです。 そのように判断した根拠
D3.jsでForce-Directed Graphを使ってラブライブ！のキャラ関係を可視化する - AOI-CAT's diary
Force-Directed Graph 力指向グラフは、nodeの間と描画領域に物理的な作用を計算してうまいぐあいに表示するらしいです。 各node（円）はマウスで動かせます。 元データはPixivのタグ検索集計です。「(ラブライブ！ OR ラブライブ!) にこまき」などそれぞれのキーワードで検索して出てきた作品数を集計しました。 線の太さがタグ数（「にこまき」なら“にこ”“まき”間の線が出現数に応じて太くなる）を表しています。nodeの外周を囲む線は学年ごとの塗り分けをしています。 JSONのデータの構造 nodes配列をdata()でセットして、今までと同じようにcircleとlineをappendします。 links配列は、各nodeの関係を記述します。sourceの0は、nodes[0]です。 graph = { nodes : [ { "name" : "にこ", "color
正しすぎて辛い
夫は大きな会社の次長で、私は200人規模の会社のヒラ事務員だ。時々、夫が部下の愚痴を言う。 「目の前の仕事はこなすんだが、長期的な視点で優先順位を付けることができない」 「ちょっと気を付ければ回避できるような凡ミスが多い」 決して罵倒することはない。当たり前のことができなくて困ったものだよ、と淡々と愚痴る。 私はそれが辛い。私も、夫が言う当たり前のことができない人間だからだ。いつも目の前のタスクを片付けるのに精一杯で、その仕事が本質的にどういうものなのかを考える余裕がなく、デスクの上は散らかっており、脊髄反射的につまらないミスをすることもある。 繁忙期には、やってもやっても仕事が終わらない。早出残業したいから、子供の送り迎えを頼めない？と頼むと、どういう業務がどうして終わらないのか、と聞かれる。あれこれ説明すると、 「そうか、君がボトルネックになって、全体の業務が滞っているんだね。じゃあ仕
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
中村さん伝説
PC
Amazon Redshift ベンチマーク Hadoop + Hiveと比較