EventMachineを使ってpixivクローラーをリニューアルした - shimobayashiの日記
http://d.hatena.ne.jp/shimobayashi/20090718/1247894330で書いたコードを誤魔化しながら動かしてきていたのですが、 同期実行なのでクロール対象が増えるほど実行時間が増大するpixivにIPアドレスBANされているのでプロキシを経由してクロールしているのだが、そのせいで非常に実行が不安定で異常終了が多いといった問題が顕在化してきたのでいい加減非同期に処理する感じに書き換えました。 結果としては実行時間、安定性ともに非常に良くなったので書いてよかったんじゃないかと思います。 今回はEventMachineというライブラリを先駆者の後を追って利用してみたのですが、やたらと情報が少なく調べ物するのがだるかったのでソースコードコピペしたりしときます。 まず、EventMachineにはHTTPリクエストを扱う方法はHttpClientとHttpCli
pi苦死v - shimobayashiの日記
というわけでまたpixivさんがやってくれました。これまで2年近くほぼ同じ設定でpixivのクロールを行っていたのですが、一昨日くらいからクロールが正常に行われなくなっており、確認してみるとIPアドレスベースでBANされた様子です。pixivのクロールをしている別の友人もIPアドレスベースでBANをされたようで、どうやら締め付けがかなり厳しくなったようです。IPアドレスベースでBANされるのはいつものことなのですが、その条件がかなり安易になっていそうですね(未検証)。 というわけでどうしたもんか。フィードリーダーで読めないpixivに大した意味はないし…。ただ単にアクセス頻度の締め付けが厳しくなっただけならアクセス頻度をもっと下げれば良いだけなんだけど、実際どうなんだろう。他にクロールできている人がいれば話を聞きたい。クラウドソリューション？？ツイートする
Androidゲーム開発をまじめにやってみたまとめ - shimobayashiの日記
ゴールデンウィークから作り始め、1週間くらい前にようやく"鉄Qプリンセス"(https://market.android.com/details?id=name.shimobayashi.tekkyu)をリリースすることができました。大体2週間でゲーム製作に飽きる自分としてはかなりの長丁場になったのですが、その分色々と得られるものはあったので適当にメモしておこうと思います。個人ゲーム製作に興味がある方はどうぞ。 基本的なゲームプログラミングに関する話題は、Androidゲーム開発入門、私が2Dアクションゲームをつくるまでに蓄積されたTips - shimobayashiの日記http://d.hatena.ne.jp/shimobayashi/20110410/1302442681に以前にまとめているので、非技術的な話題が中心になるのかな。 Androidの音周りは本当にクソメディアの音量
vim入れ直し - shimobayashiの日記
プラグインいじったりしてたら何か全体的に挙動がおかしなことになってきたのでここで一旦まっさらな状態から入れなおすことにした。先進的なプラグインを扱う技量が無いことが分かったので枯れてる感じのをチョイスすることに…。 fuzzyfinder http://www.vim.org/scripts/script.php?script_id=1984autocomplpophttp://www.vim.org/scripts/script.php?script_id=1879 autoexpandtab(自作) http://d.hatena.ne.jp/shimobayashi/20091008/1255003327 wombat256mod http://www.vim.org/scripts/script.php?script_id=2465 surround http://www.vim.
Debianから他のホストにssh接続しようとするとやたらと待たされる - shimobayashiの日記
最初はUseDNS noで解決するかと思っていたけど解決しなかったのであれこれしていたら、GSSAPIAuthentication noにしたら解決した。参考URLは、ヽ( ・∀・)ノくまくまー(2008-03-25)http://wota.jp/ac/?date=20080325#p01[ubuntu-jp:1567] Re: ssh サーバーへの接続に時間がかかるhttps://lists.ubuntu.com/archives/ubuntu-jp/2009-February/001566.htmlRFC2743 一般的セキュリティサービスアプリケーションプログラムインタフェースバージョン２、更新１http://www5d.biglobe.ne.jp/~stssk/rfc/rfc2743j.htmlこの辺。理由は良く解らんけど、サーバー側のsshdのバージョンが古いとこうなることもある
ファーストフィード化するインターネット - shimobayashiの日記
社内LT用の資料です。ブクマも稼げたら良いなあという邪な動機によってはてダに書くことを決めました。タイトルは釣りです。 はじめにフィードリーダーを使っている方はそれなりにいらっしゃるかと思いますが、mixiや古いタイプのBBSなど依然としてフィードを提供していないサイトは多く、情報収集がフィードリーダーで完結せず歯がゆい思いをしている方々が対象です。ここでは僕が利用しているフィードを吐いていないサイトを無理やりフィードに変換する方法をいくつか紹介したいと思います。あわよくば皆さんの作ったフィードにあやかりたいと思っていますのでよろしくお願いいたします。 とりあえず、お手軽にフィードにする対象サイトは、アクセス制御などがされておらず規則性があり単純なウェブサイト、です。具体的には、画像掲示板などになるかと思います。こういうときは、Pipes: Rewire the webhttp://pip
本当のことを知ってしまった - shimobayashiの日記
http://atnd.org/events/1864家事をこなすなどして平然と遅れて集合場所へ行くと、そこに首謀者である糸柳の姿はなかった。その場に居合わせたその他のメンバーに訪ねると、「信者の人がチケットをくれるというので、支部へ向かった」と言う。早速私たちの幸福が実現、仏弟子であるところの櫛ヶ浜が「信者がチケットをくれる」と予言の通りとなった。寒空の下待ちわびていると、いかにもといった風貌のおばさん2人を連れて糸柳達がやって来た。名前と住所を書き込めば、チケットを無料にて配布してくれると伝えられた。糸柳はDVDを貰って小躍りをしていた。全員が全員、真名(トゥルー・ネーム)と魂の在処を書き示し、私の名前は「下林正明」となった。こんにちは、私の名前は下林正明です。おばさん達は全く内容を確認せず、何事も無くチケットを受け取ることができた。その後、2時間ほど適当に時間を潰し、バルト9に再集合
下林からのうれしくなるお知らせです - shimobayashiの日記
糸柳ミクがTシャツ化しました！勝手に告知して良いのかよく分かりませんが、糸柳に権利はありませんし、僕が一次創作者ですので、問題無いと思います。Mitter×ClubT: 動画コラボＴキャンペーンhttp://mitter.jp/events/clubtネットに生まれてネットで繋がるような人間たちが、僕が創作した動画のTシャツを作ろうと僕の知らないところで大規模な署名活動を展開、他勢を政治上の理由などで押しのけ見事Tシャツ化する権利を獲得し、このような事態に至ったようです。糸柳ミクに歌わせてみた‐ニコニコ動画(ββ)http://www.nicovideo.jp/watch/sm1636542どうやら、このようなTシャツを大量に生産し販売するのだという話を聞き及んでおりますし、ロイヤリティーは僕が独占しますから、面白半分でTシャツ化に投票した連中は責任を持ってこのTシャツを買うべきだし、ここ
ネトゲで露店放置をしながら開発をしてはいけない！ - shimobayashiの日記
MSYSとかいう糞が必要になったのでインストールしようとしていたら、 C:\msys\1.0\postinstall>..\bin\sh.exe pi.sh This is a post install process that will try to normalize between your MinGW install if any as well as your previous MSYS installs if any. I don't have any traps as aborts will not hurt anything. Do you wish to continue with the post install? [yn ] y 0 [main] sh 4828 fork_copy: user/cygwin data pass 4 failed, 0x710A5000
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
元祖素人初撮り生中出し ドワ●ゴ女子社員 [DVD] - shimobayashiの日記
ニコニコ実況というウェッブサービスがリリースされました - shimobayashiの日記