Twitter Streaming APIのJSONの構造 - プログラマでありたい
Twitter Streaming APIで、sampleから返ってくるjsonの値。 ぱっと見たらよく解らなかったので、メモがてらにエントリー。 % curl http://stream.twitter.com/1/statuses/sample.json -uYOUR_TWITTER_USERNAME:YOUR_PASSWORD {"coordinates"=>nil, "created_at"=>"Wed May 05 11:47:19 +0000 2010", "favorited"=>false, "truncated"=>false, "contributors"=>nil, "text"=>"Today.. I'm happy, but in other side, I'm sad... I don't know why it could happen..", "id"=>1
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい
最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
ちょっと内緒にしたいスポットインスタンスの話 - プログラマでありたい
ちょっと内緒にしたいような気がしますが、知っていたら確実に得をするAWS EC2のチップスがスポットインスタンスの活用です。まずスポットインスタンスとは？AWSのインスタンススポットのページを読むと大体解りますが、簡単に説明するとAmazonで余剰のEC2のインスタンスを入札制で大幅に安い値段でを利用する仕組みです。デメリットとしては、スポットインスタンスのインスタンス価格が入札価格を上回った場合、情け容赦なくインスタンスがストップされることです。ということで、Amazonの推奨としては以下のように、通常のインスタンスを補完するような位置づけとなっています。 オプションのタスク 遅延可能なタスク コンピューティング能力を追加することで高速化できるタスク 他の方法ではアクセスできない大量のコンピューティングインスタンスが必要になるタスク しかし、制約があるものの圧倒的に安いです。オンデマンド
ジュンク堂書店さんに聞いてみた。「売れると思ったのになぜ売れぬ」の書籍リスト - プログラマでありたい
日曜日の夕方ネットを見ていたら、あまりにツボにはまるフェア見つけました。 福岡・天神のジュンク堂書店の「売れると思ったのになぜ売れぬ」フェア。 「売れると思ったのに売れぬ本」フェア 作者は衝撃？ 福岡・天神のジュンク堂書店で、店員が「売れると思ったのに、なぜ売れぬ」と思った本を１００点集めた、意外に売れない本フェアが開かれている。 並ぶのは、「恋と股間」という刺激的な題で出版された中学生向けの生き方指南書や５０年以上前のミリオンセラーの復刻本、１０年おいて重版された町歩きエッセーなど。 書店の店員さんというのは、もともと本が好きな人が大半でしょう。そんな人たちが選ぶ世に知られていないけど一押しの本。これは知りたいと思いました。ニュースや2chを見ていても恋と股間という刺激的なタイトルはあるけれど、全部のリストは見つかりませんでした。そこで思い切ってジュンク堂書店のお問い合わせのメールアドレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
