タグ

computerとcrawlerに関するtsupoのブックマーク (3)

  • 高反発マットレスの選び方 | アフィブログに騙されない為の高反発マットレス手記

    ウレタン系高反発マットレスでよく言及されるのが密度です。それを頑張って分かりやすく説明してみます。

    tsupo
    tsupo 2007/03/19
    そういえば、「情報が載ってるページ」、作ってないなぁ。そのうち作ります
  • 【埋】「何でもRSS」の良し悪し - トラフィック・コントロールとRSS粒度

    日曜コラムです、こんばんは。 「あまとも」に 商品別RSS が加えられたのは、ちょうど2週間前のことです。 それまでは「あまとも」に登録されている商品全体に対して、 価格変動のあった商品をお知らせするRSSを1つだけ提供していたのですが、 自分の興味の無い商品の価格変動を延々と見せられても困りモノですので、 ユーザのみなさんが自分の興味のある商品の変動だけをRSSリーダに登録 できるように商品別RSSを吐き出すように変更してみたのです。 ところが、この商品別RSSを提供し始めてから、ある変化が起こりました。 サーバ負荷が急激に上がる時間帯が出始めたのです。 RSS自体は全て、価格が変動したときだけ更新される静的なxmlファイルで、 価格チェック処理ののときに合わせて、いわば「ついで」として吐き出す ようにしているもので、生成処理に特に負荷が掛かるワケでもありません。 では何がこんなに負荷と

    【埋】「何でもRSS」の良し悪し - トラフィック・コントロールとRSS粒度
    tsupo
    tsupo 2006/06/19
    あなたのサイトが10,000個のRSSを提供していれば、それは突如として2時間に10,000回のアクセス となってあなたを襲ってきます → なるほど。多種類のRSSを提供する場合にはそれなりの余裕が要るってことですね
  • drry+@-> yahooseeker-jp-mobile

    二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。 で、それが何だという話ですが、お行儀が悪いというお話です。/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。アドホックな対処はあまりしたくないですけど、仕方がないのでとりあえずホスト単位で弾いてます。今のところ、ホストアドレスが隣合って連続している 2 つのホストでこのクローラが動いているようです。まだ始まって間もないと思うので、ゆくゆくは改善されるはず、と期待して様子見です

    tsupo
    tsupo 2006/06/12
    DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) / そもそも /robots.txt を読んでいません。
  • 1