図書館クロール補足 - 最速転職研究会
なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。 クロール頻度が妥当かどうかの話 ウェブサーバーはマルチスレッド、マルチプロセスなどで複数のリクエストを同時に処理できるようになっているのが一般的であるため「前回のリクエストが完了してから、次のリクエストを投げる」実装になっている限りは「サーバーの性能を100%使いきって他の利用者が利用できない状態」になることは、通常起きません。 例外的なケースもあります。 ウェブサーバーがリクエスト完了後に何らかの処理を行うような実装になっていて、リクエストのペースによっては処理が溜まっていって追いつかなくなる。 ロードバランサ、リバースプロキシを使ったフロントエンド/バックエンドの構成になっているサーバーで、フロントエンドがタイムアウトと判断して早々にエラーを返したが実際はバックエンドで処理が続いている。 例えば1秒で処理が終
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
小林祐一郎 on Twitter: "非公式RTが嫌だ、という人は「RT」を昔からよく使われる引用符であるところの「>」に置き換えたらオールOKなんだろうか？"
非公式RTが嫌だ、という人は「RT」を昔からよく使われる引用符であるところの「>」に置き換えたらオールOKなんだろうか？
Twitter面白くないの系譜 - 量産型ブログ
Twitterがサービスインして既に3年以上経過していますが、Twitter程面白くないとか分からないといわれたサービスは少ないような気がしなくもないので少しまとめてみました。 Twitter、結局使わず放置中・・・ - HINALOG 2.0 なんとなく周囲のブロガーさんがたがTwitterTwitterと騒いでいたときに、とりあえず万が一の状況を考えて「hina」のアカウントだけ先に確保しておくか?と思って作ったけれども結局一度も使わず。 →Hina Nakashima (hina) on Twitter ITmedia News：Twitterって何が面白いの？ まず、何を書けばいいか分からない。何でもいいからとりあえず書けばいいのかもしれないが、会社で仕事中に更新する訳にもいかないので、書くタイミングは帰宅後。何か面白いことがあればmixi日記に書いてしまうし、Twitterで1コ
ホットドック早食い大会はどうしてトラブルに至ったのか？
アメリカは契約社会と言われるだけあって、法律用語、特に契約書の文章には厳格です。例えば、日本の契約書には最後の条文として「甲乙の間に本契約書で定めた以外の係争事項が生じた場合は、甲乙誠実に協議するものとする」という意味不明な「誠実条項」があります。これは英訳不可能であり、英文契約書には入れないのが普通です。 では、英文契約書ではどうして「例外的な係争に関わる誠実調整義務」を入れないのかというと、契約書というのはそもそも利害が対立した場合の調整機能を持たせる「約束」であり、例外事項においても、利害が対立した場合は、双方がそれぞれの利害を主張するのが当然であって、誠実調整義務というのはナンセンスだからです。 それに加えて、例外が発生する可能性がないぐらいに「ありとあらゆる事態を想定して」徹底的に契約条項を詰めるのが「良い仕事」だということもあるでしょう。そのような徹底したロジック性の追及という
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
