Perl、PHPでGooglebotを一定の確率ではじく
Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設定しても ある回数よりも下がらないしで困っていました。 アクセス禁止にすれば完全解決なのですが、 それにより検索されなくなるのはファインダビリティが下がって嫌なので、 とりあえずランダムで 503 を返すことで対処しました。 ときどき503が出ることにより、しばらくするとGooglebotが 「サーバが混んでいるんだな」と思ってくれるみたいで、 結果としてクローラのアクセス数が激減、かつ、検索結果
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
ITmedia アンカーデスク：ケータイ検索が“使えない”理由
携帯ネットの世界に本格的に検索エンジンが入り始めてから、半年以上経ちました。PC検索の世界から見てみると、携帯検索はずいぶん事情が違う、と感じた方も少なくないのではないかと思います。 中でも特に多くの人が「なんでこんなサイトが上位にヒットするのか」ということを感じたのではないかと思います。世界最高峰の検索エンジンの技術力を持つ会社も、通信キャリアも、携帯専業ベンチャーも、誰しもが苦労するこの分野の現状を、いくつかの角度から明らかにしてみたいと思います。 携帯サイトの構造は、検索エンジンが理解しにくい 携帯サイトは、PCと同じHTMLの規格を利用しながらも、携帯電話のユーザーインタフェースに最適化された構造になっており、検索エンジンが構造を把握するのが難しい仕組みになっています。 例えば、キャリアや端末によって表示させるページを変えていたり、目的の情報にアクセスするために経由する中間ページが
Help:検索 - Wikipedia
このページでは、ウィキペディアの検索機能を解説します。検索ボックスの使い方や、応用的な検索方法を解説します。日本語の検索精度の高い外部の検索エンジンの使用法も併せて解説しています。 ウィキペディアは強力な検索エンジンを使用しています。各ページには検索ボックスが設置されており、完全一致したページ名が存在する場合は直接ページへと案内されます。一方で、検索クエリのどこかにチルダ文字 ~ を含めて検索した場合は、与えられた検索文字列を含むその他のページが検索結果に強制的に表示されます。検索文字列の最大長は300文字です。ウィキペディア日本語版に存在する4,141,678本のすべてのページを即座に検索します。 ウィキペディアの検索はドメイン（すなわち、名前空間）を指定して実行することができます。また、検索エンジンは特殊文字およびパラメータもサポートしています。これらを指定することにより、検索機能が拡
中国から百度日本へのアクセスが遮断 | スラド
つい先月に日本語検索サービスを開始した百度日本だが、INTERNET Watchの記事によれば、何故か地元の中国からGreat Firewallによってアクセス遮断されてしまっているらしい。百度日本では、画像検索でアダルトキーワードを入力すると、モザイクなしのそのものずばりの画像が出てしまうということで、アダルト画像の公開が禁止されている中国から百度日本にアクセスが集中したことが問題視されたようだ。 INTERNET WatchがAlexaで調べた結果、アクセス元は日本(32.4%)よりも中国(61.6%)のほうが圧倒的に多く、百度日本内のアクセス先も画像検索へのアクセスが76%を占め、Web検索(24%)を大幅に上まわっているとのこと。
Opera 9.20 日本語記事 - saitonのブログ
昨晩遅くには jp.opera から日本語のプレスリリースが出た模様。 電話だけの機能ではもったいない！Opera、スピードダイヤルを PC へ提供 jp.opera 冒頭に掲げられているうたい文句は以下の通り。 これなしでは生きていけないかもしれない。そう思われるほど革命的な Web サ イトへのアクセス方法を試すご準備はお済みですか？最新の Opera ブラウザに 搭載されたスピードダイヤル機能をお試しください。スピードダイヤルはサイトへのアクセスをより高速にします。 今回の目玉の名前は、短縮ダイアル、スピードダイアルを経て、スピードダイヤルに落ち着いた。 セキュリティ対策の修正が含まれているので、旧版を使っていた方は、9.20 への更新が望まれる。 正式版が出たので、思い出すところを再掲する。 スピードダイヤルに次いで表向き目立つ変更点に、URL 欄からのデフォルトエンジンによる検索
いろいろな条件から写真を検索することができる『FlickrCash』 | POP*POP
Flickrの写真を効率よく探すためのツールをご紹介。 こちらの「FlickrCash」はFlickrの写真をいろいろな条件から検索できるサービス。日付や投稿者、グループなど複数の条件を指定して写真を検索することができます。 またクリエイティブコモンズのライセンスの種類でも検索できます。「商用利用できる写真を探したい！」という時には便利ですね。 » FlickrCash 画面いっぱいに表示される検索結果は迫力がありますよ。以下に簡単にご紹介。 ↑ こちらが検索画面。探したい写真の日付や投稿者、クリエイティブコモンズのライセンスなどを指定することができます。 ↑ 「apple」で検索してみました。こちらが検索結果。 ↑ 会員登録をしなくても利用できます。検索結果を保存しておきたい場合は会員登録をしておきましょう。 ↑ 検索結果をスライドショーにしてサイトに埋め込むこともできますよ。「特定のタ
GoogleニュースのRSS配信のこと - ♪裏すいか泥棒
前からあれこれやってたのだけれども、Blog検索と混同してごちゃごちゃになってる部分がかなりあったのでもう一度整理してみた。 ned=jpになってたり、或いはned=と値無し（カスタマイズした頁だ）の場合でも言語を日本語にしてあったりするとフィードを吐かない。 ned=usとhl=jaは併用可能。これでちゃんと日本語ニュース検索のフィードを吐いてくれる。こんな感じ。 絵がちっちゃすぎた。クリックして拡大してみてね。ちゃんとGoogleリーダでsubscribeできました。 同じことをhttp://news.google.co.jp/でやったらダメだった。http://news.google.com/でやること。hl=jaにさえしてあればちゃんと日本語ニュースも読めるから心配ない。 追記 これ、まだ完全じゃない。具合の悪い箇所を見つけた。詳しくは10日の日記に書くから見てね
スパムサイト作成講座20 - [番外] class=l の謎 : 管理人@Yoski
スパムサイトを運営していると、何故か「class=l」というキーワードを付けられて検索されることがある。 というか、これを見て欲しい。 動的にページを生成しているサイトだ。みんな class=l にやられている。 原因が見えてきたのでちょっと紹介しておく。 こちらの実験サイトに class=l が初めてやってきたのは Become のクローラーだった。 Become のクローラーはご丁寧にもリファラを送ってくる。 みてみると、このサイトに行き着いた。 下の方に「ランダムリンク」というのがあり、ここでの URL 指定が間違っている。class=l というのを URL につけてしまっている。 さて、SEO に詳しい人なら（？）class=l でピンとくるものがある。そう、Google の検索結果だ。 Google の検索結果では、A タグの中に class=l というクラス指定がされている。
Yahoo！検索も“ブログは除外”機能
ヤフーは3月27日、Web検索「Yahoo！検索」に、検索結果からブログ記事を除外できるブログフィルター機能を追加した。 検索結果にブログを一定量以上含む場合は「ブログを含めずに再検索」というリンクを自動で表示。クリックすればブログを除外した検索結果が見られる。 また、検索窓にキーワードと「filter:blog」と入力してから検索するか、検索オプションで「ブログを含めない」にチェックを入れておけば、検索結果のブログ含有率に関わらず、ブログなしの検索結果が得られる。 同社の調査によると、「検索してがっかりしたこと」として「個人のホームページやブログや掲示板の会話などが検索結果に出た」を挙げるユーザーが2割以上いたといいう。 関連記事 goo検索に“ブログは除外”機能 Web検索結果にブログを含まないようにするオプションをgooが追加。結果の上位をブログが占め、キーワードによっては目的の情報
にーやんのブログ :: blosxom のサイト内検索を msearch に変更
blosxom のサイト内検索を msearch に変更 少し前から、当ブログのサイト内検索をインデックス作成型の全文検索エンジンの msearch に切り替えています。以前は blosxom の find プラグインを使用してきましたが、インデックス型の方が検索が高速で負荷も低い（だろう）という判断です。 msearch を blosxom で使用するには、若干、msearch の改造が必要でした。以下に、どのような改造をしたのかを紹介します。ただ私は Perl については詳しくないので、たぶんおかしな部分が含まれていたり、もっと上手い書き方があると思います。一応、手元の環境（blosxom starter kit、文字コード UTF-8）では動作していますが、動作の保証はいたしません（Unicode 以外の文字コードを使用している場合は、動作しません）。 msearch の入手と設置
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
買ったら検索
Twitter検索 : Search
Kawai Food | Mood Twisting Taste
Baidu Japan（バイドゥ株式会社）
Monogsearch
百度
goo - jkondoの日記
netPlant -- ブックマーク連携型検索エンジン
Wikiseek.com