大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
overlasting.net
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
世界中の美女をネット上から集めてずらっと並べて表示する「Bjin.Me」
「ネット上から世界中の美人美女を集めてランダム表示する新しいイメージサーチエンジンです。貴方の理想な画像を探してね」ということで、ひたすらネットクロールして画像をデータ化したものをランダムにタイル表示し、見たい画像をクリックすると拡大表示して、大きく見ることができるというシンプルなサイトがこの「Bjin.Me」です。 美人美女専用イメージサーチエンジン | Bjin.Me http://bjin.me/ 表示されている画像をクリックするとこのようにして拡大表示され、関連画像検索やオリジナル画像のリンク確認などが可能です また、サイト左下にあるカテゴリを選択すると、画像にタグされた内容からタレントを限定して表示する機能もあります。 これがカテゴリ検索ページ。頭文字や名前の一部、さらには動画などにも対応しています。 各自の名前ごとにこのようにして並べることも可能です。これは「平野綾」の場合。
Googleに負けないものを作りたい――女子大生が挑む日本独自の「かわいい検索」
※本記事はアフィリエイトプログラムによる収益を得ています 「ゆるかわ検索」「キュート検索」「きれい検索」「おもしろ検索」「まじめ検索」――5つの“かわいい”系統から気になるアイテムを検索ができる検索エンジン「かわいい検索」がリリースされた。開発したのは慶応義塾大学SFC（湘南藤沢キャンパス）の女子大生3人だ。 現在は検索対象がブログのみとなっており、例えば「バッグ」（bag）を検索すると、5つの“かわいい”の系統のうち選択した分野に当てはまるバッグを紹介したファッション系のブログが表示される。芸能人ブログなど、バッグの写真だけでなく、バッグを持っている有名人の写真を見ることができるため、流行の“かわいい”も検索結果から分かるのが特徴となっている。 開発を担当したのは同大学院修士課程の橋口恭子さん、同大学3年生の若林里奈さんと松野香織さんの3人。橋口さんがアルゴリズムの設計とプログラミングを
天才が作った新検索エンジン『Wolfram|Alpha』と、Googleへの影響 | WIRED VISION
前の記事 いま好調な自動車市場は：ルーマニアと中国の例を見る 「スパコンが可能にした研究成果」を画像で紹介 次の記事 天才が作った新検索エンジン『Wolfram|Alpha』と、Googleへの影響 2009年5月11日 Ryan Singel 5月18日に一般公開される予定の新興検索エンジン『Wolfram|Alpha』が話題を集めている。 聞いたこともない、という人のために説明すると、Wolfram Alphaとは、たとえば「ヨーロッパのインターネット利用者」などといった検索クエリが求める内容を理解し、非常に適切な結果を返すという「コンピューター的な知識検索エンジン」だ。このマジカルな技術は、インデックスに、混乱したウェブページではなく構造化されたデータセットを使うことで実現されている。 同サービスのデモ[ハーバード大学バークマンセンターでの講演。動画は以下]は、最初は懐疑的だったDa
画像をアップすると似たような画像を一気に検索してくれる『TinEye』 | 100SHIKI
画像をアップすると似たような画像を一気に検索してくれる『TinEye』 May 9th, 2008 Posted in 検索 Write comment 激しくプライベートベータ版だが、これは期待できそうなサービス。 TinEyeはいわゆる画像を使った検索エンジンである。キーワードをテキストでいれる通常の検索エンジンと同じように、画像をアップすると似たような画像を探してきてくれる、という訳だ。 まだまだ精度の問題があるだろうが、これが実現されればある画像が使われているサイトを一気に検索することができるようになる。 よくネット上で画像が微妙に修正されて（パロディ画像など）広がることがあるが、そのような画像の広がりも調べることができるようだ。 なによりうまく言語化できない検索を実現できる、という点が大きいだろう。この写真に写っているこれって？？という検索に威力を発揮しそうだ。 画像で検索する、
連想検索エンジン reflexa
連想検索エンジンreflexa（リフレクサ）はコトバとコトバのつながりを元に未知の情報を探索していくための連想検索エンジンです。連想検索ならではの楽しい検索体験をお楽しみ下さい。
全文検索 JiroSearch オープンソース(GPL) | Lucene
JiroSearchとは ｢JiroSearch｣ は、様々な全文検索ニーズに対応できることを目指し、オープンソースとJavaで開発された全文検索エンジンです。 面倒な設定作業やコーディング作業なしに、全文検索機能を導入することが出来るとともに、様々な検索ニーズに合致したカスタマイズを行うことができます。 基本的な特徴 Webサイト内の日本語全文検索「namazu」と同様のことができます オープンソース(GPLライセンス)ですので、無償で利用することができます Linux, Windowsのサーバ上で動作します インストールして、そのまま利用していただくことができます N-gram形式のインデックス生成型の全文検索として動作します 検索対象ファイルの自動更新を可能にします CSSファイルを直すことで検索結果ページのデザインを変更することができますjspファイルを修正することで、自由に検索結
きまぐれ日記: page popularity と page quality と randomness (PageRank 編)
昨日の話の続きです。よくよく考えてみると、PageRank も無作為性を取り入れたアルゴリズムでした。 PageRank は、Web Page の quality を求める方法の一つです。基本的な考え方は、ネットサーファーが ε の確率で無作為に選んだページにジャンプし、1-ε の確率で現在のページ内のリンクを辿ります。サーファがこの手続きを延々と続けていき、定常状態でのページの滞在時間が PageRank です。 このときの ε で無作為のページにジャンプする行為が、無作為性そのものです。 PageRank に似たアルゴリズムとして、Kleinberg の HITS があります。これは、たくさんのリンクを放出する HUB度 と、たくさんのリンクをもらう Authority度 という二つの quality を page に与え、HUB度 の高いページからリンクされると Authority
NAMAAN Staff UMAブログ: NAMAANの卒論がHackされました
大崎＠NAMAAN UMAです 先日ですが、とうとう私の卒業論文が発見されてしまいまして 今日の井原 - blog検索エンジン「NAMAAN」の中身 にてHackされておりました。 井原さんありがとうございます。 今までは、人が発表している内容をHackしている立場だったんですが、 自分の発表しているものがHackされるのは初めの体験で恥ずかしさのあまり、 NAMAAN事務所では大騒ぎしてしまいました。。。 さて、井原さんがブログにて紹介されていますが、恥ずかしながら著者として 論文の内容について簡単に紹介したいと思います。 論文ではNAMAANのシステム概要を簡単ですが説明しています。 現在のNAMAANは、論文に書いてありますように。オープンソースのNamazuを利 用して並列検索システムを実現しています。 NAMAZUを選択した理由は、非常に高機能で構築が簡単だ
見つけて得するソースコード専用の検索エンジン - ＠IT
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします。（編集部） プログラミングと検索エンジンは切っても切れない プログラミングと検索エンジンの関係は切っても切り離せないものです。プログラミングに役立つドキュメントやノウハウを探したり、参考になるサンプルプログラムを見つけ出せます。 さらにバグの回避方法を見つけたり、エラーメッセージを検索エンジンで探して、解決方法が見つかることも多いでしょう。良質のソースコードから、的確なアルゴリズムや、思いもしなかったようなコード例を見いだすのも新たな楽しみです。 さて、ここではプログラミングの際に便利に利用できるソースコード専用の検索エンジンをいくつか紹介しましょう。ソースコード専用の検索エンジンを利用した検索
ホーム - Mobloget
ベラジョンルーレットの賭け方をチェック！ 熱心なゲーマーたちの間で常に盛り上がっているのが、最高のゲーミングPCはどうやったら作れるのか、という話題です。その答えの大半はあなたの予算次第で決まってきますが、少ない予算でも自分の希望に沿ったPCを自作することはほぼ確実に可能です。では、まずはグラフィックボードの話から始めましょう！ ゲーミング関連のパーツの価格は、異常に高騰することがあります。かつて5万円で買えたグラフィックボードが今では7万円もするのです！テック製品は通常であれば新たなテクノロジーや製品の開発によって価格が下がっていくものなので、このような価格の高騰は、異常なことです。 グラフィックボードの価格が高騰した主な要因は、仮想通貨マイニングにあります。世界中の人々が仮想通貨のマイニングのために、グラフィックボードを大量購入したため、在庫がどんどん少なくなっていったのです。需要は莫
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://japan.internet.com/busnews/20111021/7.html
apporo - Project Hosting on Google Code
Webcat Plus
TechCrunch | Startup and Technology News
Introduction to Google Search Quality
404 - gooラボ
http://chasen.org/~taku/blog/archives/2005/10/popularity_qual.html
http://ubicat.cll.im.dendai.ac.jp/