タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

scrapingとlibrahackに関するmas-higaのブックマーク (3)

  • サーバ管理者日誌 続・クロールとDoSの違いと業務妨害罪と

    と書いたのだが、他の図書館でも、一度タイムアウトすると、同じCookieを持ってアクセスすると応答がなくなるという同様の現象が発生するところが見つかった。 気づいたのはたまたまだったのだが、 岡崎市立図書館と同じ、MELILを採用している図書館のリストが、 日のソフト別OPACリスト[http://www.asahi-net.or.jp/~gb4k-ktr/indexjv.htm#melil] にあり、この中で検索ページが.aspになっているものでは同じ現象が発生する様で、発生条件もかなり緩く、 検索などでのタイムアウト発生 応答が遅かった場合のキャンセル 検索結果ページを閲覧していて、画面内の戻るボタン以外でページ遷移を行った場合 に、以降の応答がなくなるという症状が発生する様だ。 検索ページが.aspxになっているものでは、確認した範囲では発生を見ていないので、これは後に改修されたの

    mas-higa
    mas-higa 2010/07/27
    念力デバッグ!
  • サーバ管理者日誌 クロールとDoSの違いと業務妨害罪と

    #Librahack[http://twitter.com/search?q=%23librahack] の議論。多く登場する「スクレイピング」と書こうと思ったけれども、クロールで得たHTMLの後処理がスクレイピングだから、ここでは「クロール」対「DoS」とした。 そもそも、クロールとDoSは行っている側の目的に決定的な違いがある。 クロールを行う際は、クロールによって相手サーバの情報を取得することが目的だ。そのために、リクエストに対する応答を受け取って、そのまま保存するなり、何らかの加工(スクレイピング)を行って、情報を保存する。 情報を得るのが目的だから、サーバが落ちるのは困る立場だ。 一般的な作りとしては、ページのリクエストを出して、結果を受け取ったら、その場で解釈して、次にリクエストを出すページを決めるか、あるいは予め予定している次のページのリクエストを出す。この間に待ち時間を入れ

    mas-higa
    mas-higa 2010/07/27
    無断クロール禁止教!
  • 高木浩光@自宅の日記 - 岡崎図書館事件について その1, DoS等で業務妨害罪とされた過去の報道事例, 山形の事件は悪意ある攻撃であったことを確認(21日..

    ■ 岡崎図書館事件について その1 5月26日にこんな報道があった。 図書館HPにアクセス3万3000回 愛知県警 業務妨害容疑、38歳を逮捕, 朝日新聞2010年5月26日朝刊 県警生活経済課と岡崎署によると、容疑者は、4月2日から15日にかけて、岡崎市中央図書館のホームページに、計約33,000回のアクセスを繰り返し、ホームページを閲覧しにくい状態にしたという疑いがある。(略) 同課によると、容疑者は1回ボタンを押すだけで、1秒に1回程度の速度でアクセスを繰り返せるプログラムを作っていたという。容疑者は同図書館の利用者だったが、目立ったトラブルは確認されていないといい、動機を調べている。 図書館にサイバー攻撃, 読売新聞2010年5月26日朝刊 県警は25日、インターネット関連会社社長を偽計業務妨害容疑で逮捕した。(略) 調べに対し、アクセスしたことは認めているが、動機については話して

  • 1