法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
都道府県別勉強会お知らせBOTを作ったよー - 酢ろぐ！
はなずきんさんのIT勉強会カレンダーにフィルタを掛けたmnagakuさんのIT勉強会カレンダー都道府県版をベースにCH3COOH(酢酸)がBOTを作りました。 毎日0時頃と12時頃に1週間先とその日開催予定の勉強会情報を都道府県別のBOTがPostします。 しかし、リスト長すぎ…… 北海道 勉強会情報BOT(北海道) (@bnky_hokkaido) op Twitter 北東北 勉強会情報BOT(青森) (@bnky_aomori) op Twitter 勉強会情報BOT(岩手) (@bnky_iwate) op Twitter 勉強会情報BOT(秋田) (@bnky_akita) op Twitter 南東北 勉強会情報BOT(宮城) (@bnky_miyagi) op Twitter 勉強会情報BOT(山形) (@bnky_yamagata) op Twitter 勉強会情報BOT(
Twitterで使えるbot50徹底レビュー！ (1/6)
約1000万人が利用しているという、つぶやき共有型SNS「Twitter」。そこには「bot」という便利なサービスがある。Twitter上でフォロー（発言を共有するユーザーリストに追加）するだけで最新ニュースが分かったり、「＠」をつけてbot向けに発言するだけで晩御飯のレシピが分かったりと、うまく活用すれば非常に便利だ。 だがその数はおそろしく多く、どれを使えばいいのかよく分からない。そこで今回は厳選した50の定番botの「感想」と「使い心地」をまとめてお送りすることにした。★★★の三段階評価で「使える」かどうかをチェックしているので参考にしてほしい。 ちなみに感想や使い心地はあくまで個人的なものなので、ぜひ自分でお試しを。なお、この情報は記事掲載時点のもので、これ以降変更が加えられたり、アカウントが停止する可能性もあるためご注意いただきたい。
Twitterの簡単なbotを作ろう！！！！ - hitode909の日記
この記事はめちゃくちゃ古いです．別の方法で，oAuthに対応したbotを作ってください．google:twitter bot oAuth 今日はTwitterの簡単なbotを作ってみます。 作るもの 現在のUNIXタイムを配信する、unixtimebotを作ります。 既に完成したものが以下のURLで動いています(飽きたら配信が止まるかもしれません)。 http://twitter.com/unixtimebot あなたはこのbotをfollowすることによって、常にUNIXタイムを意識しながら暮らすことができます。 方針 Rubyを使います。 直接TwitterのAPIを叩くのではなく、RubyGemsからライブラリを取ってきてそれを使ってアクセスします。 Twitterにアクセスできるgem Twitterにアクセスするためのgemは、ちょっと探しただけで、これだけありました。 Twit
人工無能の作り方
書いた人 INA 人工無能とは？ 人間っぽく話すプログラムのこと。会話を理解しているというよりは、なんかそれっぽいことを話すだけのものが多い。 今回は「日本語のようなものを話す人工無能」を作ってみたので、その簡単な仕組みと工夫した点について少し書いてみることにする。 動機 うちのサークルのメンバーがよく集まってるチャット。とてもマニアックな どうしようもない 会話が繰り広げられているわけだが、ちょっと物足りない。 そうだ！ 萌キャラがいないじゃないか！ 「ないなら作ればいいじゃない？」 材料 MeCab 形態素解析エンジン 難しいことは知らなくても問題ない。 「私は変な人ではない」 ↓ 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 変 名詞,形容動詞語幹,*,*,*,*,変,ヘン,ヘン な 助動詞,*,*,*,特殊・ダ,体言接続,だ,
【埋】「何でもRSS」の良し悪し - トラフィック・コントロールとRSS粒度
日曜コラムです、こんばんは。 「あまとも」に 商品別RSS が加えられたのは、ちょうど2週間前のことです。 それまでは「あまとも」に登録されている商品全体に対して、 価格変動のあった商品をお知らせするRSSを1つだけ提供していたのですが、 自分の興味の無い商品の価格変動を延々と見せられても困りモノですので、 ユーザのみなさんが自分の興味のある商品の変動だけをRSSリーダに登録 できるように商品別RSSを吐き出すように変更してみたのです。 ところが、この商品別RSSを提供し始めてから、ある変化が起こりました。 サーバ負荷が急激に上がる時間帯が出始めたのです。 RSS自体は全て、価格が変動したときだけ更新される静的なxmlファイルで、 価格チェック処理ののときに合わせて、いわば「ついで」として吐き出す ようにしているもので、生成処理に特に負荷が掛かるワケでもありません。 では何がこんなに負荷と
なんか:かんがえて-4 � 迷惑ロボットとして名をはせたNaverが日本再上陸？
迷惑ロボットとして名をはせたNaverが日本再上陸？ 1, 2秒あたり数十アクセスを浴びせてWebサーバーのリソースを食いつぶしてみたり、 そもそもrobots.txtをまるで無視してみたり は知っていたが、 嫌われていると見るやGooglebotを詐称してみたり、 は任侠道上許し難き行為ですな。 ざっと手元のaccess.logをみたら、最近はこんな user agentでくるみたい。 Mozilla/5.0 (compatible; NaverBot/1.0; nhnbot@naver.com) NaverBot-1.0 (NHN Corp. / +82-31-784-1989 / nhnbot@naver.com) Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Naver Desktop Search) さくっとこんな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cuppat.net
Administrative Quarantine
http://c-moon.jp/robots.shtml