tagsoupとregex-tdfaでHTMLからリンク抽出 - Qiita
{-# LANGUAGE OverloadedStrings, QuasiQuotes #-} import Control.Applicative import Control.Monad import qualified Data.ByteString.Lazy.Char8 as B import Network.HTTP.Conduit import System.Cmd import System.Environment import System.Process.QQ import Text.HTML.TagSoup import Text.HTML.TagSoup.Tree import Text.Printf import Text.Regex.TDFA baseUrl = "http://dumps.wikimedia.org/" extractLinks url rege
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Lambda the Ultimate を Kindle で読む - 言語ゲーム
Kindle ユーザに人気のツールに Calibre というのがあります。これは iTune みたいに使う物で、電子書籍のバックアップやフォーマット変換を行う物です。一見初心者にも優しい見かけをしていて、iTune みたいな使い方をしても良いのですが、このツールに本気を出させようと思うと Python を覚えた方が良いです。Python 無しの Calibre は elisp 無しの emacs みたいな物です。Python を使えば Calibre の変態的に強力なパワーを味わう事が出来ます。という事で、そのさわりとしてブログを Kindle 等の e-book で読めるように変換するというのをやります。 Calibre で Python をつかうにはコマンドラインツールをインストールする必要があります。Mac では Calibre 起動後、Preferences - Advanced
[岡崎図書館サイバー冤罪事件] 大量アクセスするヤツが悪い!? 法を守ってないのはどっち? - biac の それさえもおそらくは幸せな日々@nifty
この事件は、 逮捕された人がその後公開した Web サイト の名前を取って、 Librahack 事件とも呼ばれます。 最初に報道された頃には、 「岡崎図書館 HP 大量アクセス事件」 と呼ばれていたこともあります。 今年 (2010年) 5月に逮捕され、 報道されました。 ・ asahi.com: 図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕 2010年5月26日 ( 魚拓 ) しかし、 この警察発表に疑問を持った朝日新聞の神田記者 ( @kanda_daisuke ) は、 その後も事件を追い続け、 8月に何本かの記事を発表します。 この事件に興味のある方は、 必ず読んでおくべき記事です。 ・ asahi.com: 図書館ＨＰ閲覧不能、サイバー攻撃の容疑者逮捕、だが… 2010年8月21日8時0分 ( 魚拓1/2 , 魚拓2/2 ) ・ asahi.com: なぜ逮捕？ネット・
![[岡崎図書館サイバー冤罪事件] 大量アクセスするヤツが悪い!? 法を守ってないのはどっち? - biac の それさえもおそらくは幸せな日々@nifty](https://cdn-ak-scissors.b.st-hatena.com/image/square/c50b1ca0898c13b4c2b9eaaf8b9adc0e9348ce3f/height=288;version=1;width=512/http%3A%2F%2Fbluewatersoft.cocolog-nifty.com%2F.shared-cocolog%2Fnifty_managed%2Fimages%2Fweb%2Fogp%2Fdefault.png)
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Online classifieds Top 10 Luxury Cars Healthy Weight Loss music videos Dental Plans Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
サーバ管理者日誌 シリーズ・クロールとDoSの違いと業務妨害罪と(3)
タイトルを付け直そうかと思ったが、まだ続くかも知れないのでシリーズ化することにした。 初出の時に サーバ側から観測した時に、相手が行っているのが過剰なクロールか、あるいはDoSなのかは、Webサーバのログでも大体見当は付く インターネットでは、専用線接続やクラサバとは根本的に異なり、ネットの向こうには何があるのか分からないというのがスタートラインだ。これは、インターネット全盛の今にあっては当たり前のことだが、レガシー世界からすると、クライアントが何かも分からないというのは確かに別世界だ。 レガシー世界のサーバとクライアントは一対のものとして実装され、お互いの挙動を把握しながら動いていた。 ところが、インターネットの世界では、 RFC[http://ja.wikipedia.org/wiki/Request_for_Comments] で提案されたプロトコルを拠り所に、サーバとクライアントが
各社新聞記事の比較 | Librahack ： 容疑者から見た岡崎図書館事件
岡崎図書館事件について各紙が報じたものを調べました。すべて逮捕された翌日の朝刊に掲載されたものです。 朝日新聞 図書館HPにアクセス3万3000回 愛知県警 業務妨害容疑、38歳を逮捕 愛知県の岡崎市立図書館のホームページに集中的にアクセスし、閲覧しにくくしたとして、愛知県警は25日、ホームページ作成会社社長を業務妨害の疑いで逮捕し、発表した。 県警生活経済課と岡崎署によると、容疑者は、4月2日から15日にかけて、岡崎市中央図書館のホームページに、計約33,000回のアクセスを繰り返し、ホームページを閲覧しにくい状態にしたという疑いがある。 同図書館のホームページ管理用サーバーには、3月中旬からの約1ヶ月間に、容疑者の自宅のパソコンなど特定の端末から計約64,000回のアクセスがあり、その影響でホームページの閲覧は21回停止されていた。 同課によると、容疑者は1回ボタンを押すだけで、1秒に
Librahack ： 容疑者から見た岡崎図書館事件
出来事の詳細 3/13 新着図書データベースを作るためクローリング＆スクレイピングプログラムを作成した ちょうどその頃、市場調査を行うためにECサイトのスクレイピングプログラムを作っていた。そのついでに、前々から構想していたLibra新着図書Webサービスを作ろうと思った。市場調査プログラムの一部をカスタマイズして、新着図書データベース作成プログラムを作った。この時、市場調査プログラムと新着図書データベース作成プログラムは同じプログラム内にあり、パラメータでアクションを指定して振り分けていた。 Webサービスを作ろうと思った動機は「なぜプログラムを作ったか」の通り。 Webサービスの概要は「どんなプログラムを作ろうとしていたか」の通り。 普段読む本を入手する流れ：1. Amazonの各カテゴリの売れ筋をチェックしてレビューを確認し読むかどうか決める（または、書評ブログや新聞などのメディアで
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mikeal/spider: Programmable spidering of web sites with node.js and jQuery
hinata.in
Home - Crawljax
node.js for the night life
Extractiv
GitHub - kevzettler/node-parasite: parallel http client for node
YAPC::Asia 2010 / Studying HTTP with Perl
高木浩光＠自宅の日記 - Macっ娘ならオートメータ君つかいたおすわよね
GitHub - twitter/twurl: OAuth-enabled curl for the Twitter API
