サーバ管理者日誌 クロールとDoSの違いと業務妨害罪と
#Librahack[http://twitter.com/search?q=%23librahack] の議論。多く登場する「スクレイピング」と書こうと思ったけれども、クロールで得たHTMLの後処理がスクレイピングだから、ここでは「クロール」対「DoS」とした。 そもそも、クロールとDoSは行っている側の目的に決定的な違いがある。 クロールを行う際は、クロールによって相手サーバの情報を取得することが目的だ。そのために、リクエストに対する応答を受け取って、そのまま保存するなり、何らかの加工（スクレイピング）を行って、情報を保存する。 情報を得るのが目的だから、サーバが落ちるのは困る立場だ。 一般的な作りとしては、ページのリクエストを出して、結果を受け取ったら、その場で解釈して、次にリクエストを出すページを決めるか、あるいは予め予定している次のページのリクエストを出す。この間に待ち時間を入れ
サーバ管理者日誌 続・クロールとDoSの違いと業務妨害罪と
と書いたのだが、他の図書館でも、一度タイムアウトすると、同じCookieを持ってアクセスすると応答がなくなるという同様の現象が発生するところが見つかった。 気づいたのはたまたまだったのだが、 岡崎市立図書館と同じ、MELILを採用している図書館のリストが、 日本のソフト別OPACリスト[http://www.asahi-net.or.jp/~gb4k-ktr/indexjv.htm#melil] にあり、この中で検索ページが.aspになっているものでは同じ現象が発生する様で、発生条件もかなり緩く、 検索などでのタイムアウト発生 応答が遅かった場合のキャンセル 検索結果ページを閲覧していて、画面内の戻るボタン以外でページ遷移を行った場合 に、以降の応答がなくなるという症状が発生する様だ。 検索ページが.aspxになっているものでは、確認した範囲では発生を見ていないので、これは後に改修されたの
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション)
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2010年7月1日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり PHPのデータベース・アクセス・ライブラリPDOは、DB接続時の文字エンコーディング指定ができないため、文字エンコーディングの選択によっては、プレースホルダを使っていてもSQLインジェクション脆弱性が発生します。 追記(2011/06/19) ここに来て急にブクマが追加されはじめていますが、このエントリを書いてから状況が改善しています。PHP5.3.6(2011/03/17)にて、PDOでもデータベース接続の文字エンコーディングを指定できるようになりました。この版で、UNIX版のPHPでは解決しましたが、Win
とある件 #librahack に関連しつつ一般論を再度電話して聞いてみた | [ bROOM.LOG ! ]
ニコニコPodder iPhone/iPod/iPad対応ニコニコ動画簡単インポートツール aggregateGithubCommits GitHubレポジトリでのコミット数をAuthor/期間別に集計します probeCOCOATek 新型コロナ接触確認アプリCOCOAが配布するTEKを表示・集計 最初に再度強調しておきますが、これは「とある件 #librahack」に関連しつつも、とある関係先に再度「個人的に」「一般論」として考え方を確認してみた話です。 あくまで、 最近起きた具体的な事案についての具体的な話ではありません。 再度電話して確認したところ「あの書き方では県警が特定の事件について語ったと読まれてしまう」「あの事件について具体的に話を聞いたとの公表の仕方であれば一切お話しできない」「具体的事案についてであれば取材なので私の立場ではお話しできない。別途書面で質問を」と言われ、僕
図書館Webサイトへのクローラを実行して逮捕された男性、不起訴に | スラド セキュリティ
先日、図書館のウェブサイトに3万3千回アクセスした男が業務妨害容疑で逮捕されたという事件があったが、その後逮捕された男性は不起訴処分（起訴猶予処分）となったそうで、本人が事情を説明するサイトを立ち上げている（Librahack ： 岡崎市立中央図書館HP大量アクセス事件まとめ）。 男性は問題となった岡崎市立中央図書館のヘビーユーザーであり、図書館の新着図書ページが使いにくかったために図書館のWebサイトをスクレイピングして自分用に使いやすいデータベースを作成することが目的だったとのこと。また、サーバー側の負荷も考えてクロールする頻度等を決めたとのこと。おなじみ高木先生のコメントなどを含むTogetterまとめはこちら。
サーバ管理者日誌 岡崎市立中央図書館に電話してみた
続・robots.txtに従わず、図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕2010-06-21 シリーズ・クロールとDoSの違いと業務妨害罪と(12) - 図書館の自由に関する宣言を考える2010-08-23 岡崎市立中央図書館事件に関する本日誌の記事一覧2010-08-17 シリーズ・クロールとDoSの違いと業務妨害罪と(4)2010-07-18 シリーズ・クロールとDoSの違いと業務妨害罪と(36) - 「図書館ホームページ閲覧障害に係る経過等について」2011-02-26 シリーズ・クロールとDoSの違いと業務妨害罪と(10) - 動かないコンピュータ2010-08-06 「脱線」便乗詐欺が数十人？ ＪＲ西、不審者リスト提出2005-06-07 robots.txtに従わず、図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕2010-05-26 シリーズ・クロールとDo
岡崎市立中央図書館事件 #librahack について愛知県警に電話して聞いてみた | [ bROOM.LOG ! ]
ニコニコPodder iPhone/iPod/iPad対応ニコニコ動画簡単インポートツール aggregateGithubCommits GitHubレポジトリでのコミット数をAuthor/期間別に集計します probeCOCOATek 新型コロナ接触確認アプリCOCOAが配布するTEKを表示・集計 連日Twitterでは #librahack ハッシュが大盛況だが、個人的には事実関係でよく分からないことも多く明白にしたいことではあったので、直接愛知県警に電話して事情を聞いてみました。岡崎署ではなく愛知県警なのは、そちらが事件捜査の主体的な役割を担っただろうと判断したからです。 対応して頂いたのは生活経済課の方。お名前は出しません。愛知県警ではこの課がサイバー犯罪を担当しているそうです。 担当して頂いた方は割と若めで理路整然と話したいクールなタイプ。多少警戒されて話されていたのが印象によく
岡崎市立中央図書館事件について - 2010-06-24 - 弁護士 落合洋司 （東京弁護士会） の 「日々是好日」
http://librahack.jp/ 事実関係について詳細には知り得ないので、あくまで感想にとどまりますが、犯罪としての業務妨害が成立するためには、用いる手段が、社会通念に照らし違法と評価されるものである必要があり、しかも、そのような業務妨害行為が、業務妨害の故意（犯罪を犯す意思）に基づいている必要があります。故意については、未必の故意（業務を妨害しているかもしれないが、それでも構わないという内心の状態）も理論上は含みますが、客観面及び主観面の両面で、当該行為が業務妨害としての実態を備えているかどうかということが慎重に見られなければならないでしょう。 上記のサイト内の なぜプログラムを作ったか http://librahack.jp/okazaki-library-case/purpose.html どんなプログラムを作ろうとしていたか http://librahack.jp/okaz
岡崎市立中央図書館librahack事件に関するよくある（法的な）誤解(3) - ふか津もふきちの日記
「この程度の事件で【拘留】を延長するなんて不当だ！」 「拘留」と間違えて書いてるコメントが多すぎる！ ただ、大手マスコミもしょっちゅう間違えてるので、一般人ばかりを責めるわけにもいきませんが。それだけ間違えやすい用語なのは確か。 「拘留」は、刑罰の一種。「刑務所に入れて自由を奪う刑罰」のうち、１ヶ月以上のものは懲役・禁錮で、30日未満のものが拘留。序列でいうと罰金よりも下。 「勾留」は、有罪判決が確定するよりも前の段階の身柄拘束処分。「起訴前勾留（10日＋延長10日で20日が最長）」と「起訴後勾留（裁判が長引けば何年でも）」とがある。 事件報道で「拘留」が出てくることは、ほぼ100％ないといっていい。 「この程度の事件で勾留を延長するなんて不当だ！」 勾留（逮捕に続く起訴前のほう）は何のためにするかというと、主に被疑者本人の取り調べのため。 そして、地方によって多少程度の差があるものの、検
実際に岡崎市中央図書館の新着情報を全件取得してみた - メモ@inudaisho
(8/25追記とかやんのめんどくさくなってきたのでそのうちこの関係の記事全部ここにまとめてかきなおす。まぁこんな反応のない記事書きなおしたって誰も気にしないだろうからひどめに書きなおしとくわwww) librahack氏のスクリプトの検証 （2年ほど仕事をしていない無職が偉そうにlibrahack事件を語るためにまず） 実際に岡崎市立中央図書館の新着情報を全件舐めてみた。 逐次実行でタイムウェイトなし 図書館の業務時間外にやる 詳細情報を取得するが、DB処理なんてめんどくさいことしない librahack氏とおなじphp 1回目 2241件 開始 2010/06/24 23:19:39 終了 2010/06/25 00:22:40 実行時間 : 3781366.542ms 約63分 反応が返ってこなかったリクエストが8件 2回目 2241件 開始 2010/06/25 06:27:32 終
Librahack ： 容疑者から見た岡崎図書館事件
出来事の詳細 3/13 新着図書データベースを作るためクローリング＆スクレイピングプログラムを作成した ちょうどその頃、市場調査を行うためにECサイトのスクレイピングプログラムを作っていた。そのついでに、前々から構想していたLibra新着図書Webサービスを作ろうと思った。市場調査プログラムの一部をカスタマイズして、新着図書データベース作成プログラムを作った。この時、市場調査プログラムと新着図書データベース作成プログラムは同じプログラム内にあり、パラメータでアクションを指定して振り分けていた。 Webサービスを作ろうと思った動機は「なぜプログラムを作ったか」の通り。 Webサービスの概要は「どんなプログラムを作ろうとしていたか」の通り。 普段読む本を入手する流れ：1. Amazonの各カテゴリの売れ筋をチェックしてレビューを確認し読むかどうか決める（または、書評ブログや新聞などのメディアで
サーバ管理者日誌 続・robots.txtに従わず、図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕 - 岡崎市立図書館蔵書検索システムの謎
容疑者とされた当人が、 Librahack[http://librahack.jp/] として、顛末を説明している。 想像通り、端的に言えば、図書館ページが提供するインターフェイスが使いにくいので、スクレイピングして、検索しやすいデータベースを用意しようとした。ということの様だ。 だとすると、 前の記事[http://www.nantoka.com/~kei/diary/?20100526S2] でも書いたけれども、こんなことで逮捕される様では、技術的な実験も研究も、全て、逮捕を覚悟して掛らなければならないということになる。結果、技術の進歩を著しく阻害する危険性がある。 こんなことが起これば、日本でGoogleの様な、あるいはGoogleを超えるサービスを開発しようとは思わなくなる。 実際、図書館の蔵書データベースを無償で提供している カーリル[http://calil.jp/] というサ
岡崎市中央図書館に1秒間に1回アクセスしたら逮捕されたけど不起訴になった件について
岡崎市中央図書館に1秒間に1回アクセスしたら逮捕されたけど不起訴になった件について。 当事者からの報告とそれに関連した高木先生などのつぶやきをまとめています。不完全かつ進行中です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなハイク サービス終了のお知らせ
岡崎市中央図書館向けクローラ作成者が逮捕・不起訴の件（Vol.1 - 6月24日以降分）
SQLer 生島勘富 の日記
SQLer 生島勘富 の日記
BLOGOS サービス終了のお知らせ
SQLer 生島勘富 の日記