はてなブックマーク

Twitter Streaming API: filter()からCouchDBへ流しこむサンプルスクリプトを作りました。 返ってきたStatus情報等を全て格納しておりテーブルサイズが大きくなりやすいので、適度にフィルタを掛けると良いです。 連休前と連休中で画像共有サービスの利用頻度が変わるのかを確認する為にFilter条件をtwippleで行なったところ、ゴールデンウィーク中は1日で19万件程度tweetされていました。 連休前として2週間程前に収集した際は10万件程でしたので、行楽中は画像共有サービスの利用が増えるようです。 https://github.com/shmachid/twitter_mining/blob/master/stream2couch.py # -*- coding: utf-8 -*- import sys import time from datetime

実行時のループ回数は、10000000回ループさせる。但し、実行に時間の掛かり過ぎるシナリオ等に関しては回数を減らす事とする。例外シナリオは以下である。 No.17: 100000回 PHPにおいて例外が発生する為。 No.18: 10000回　標準出力に文字列出力する為、処理 対象のprint文の計測が行いづらい為。 実施前考察 本レポートで実行対象となるプログラミング言語はそれぞれ実績のある言語であり、Webサービス開発においてよく使用されている。私はPerl, PHPの経験はあるがPythonは今回が初めての使用となる。 Perlは全体的に処理が速く、ファイル操作に長けているイメージがある為、全般的にPerlのパフォーマンスが良いと考えている。 PHPは全体的に処理が遅いイメージがある。特にrandom()やファイル操作が遅いイメージがある。 Pythonを使用するのは今回が初めてで

以前からCAP定理やBASEがイマイチ腹落ちしていなかったので、調べました。 1. ACID まず、RDBMSのトランザクション処理におけるACID特性は以下である。 Atomicity: 原子性 トランザクションが実行されるか、全くされないかのどちらかである。 Consistency: 一貫性 データベースの関係制約を保証する。 Isolation: 独立性 トランザクション中に経過が他トランザクションから参照出来ない。隔離性があるということ。 Durability: 永続性 トランザクション完了後、データは失われない。耐障害性があるということ。 2. CAP定理 続いて、クラウド化（クラウドは分散システムと考える）した際はACID特性が保つのは非常に大変である。（無理ではない） CAP定理では、C.A.Pの３つの内、同時に満たせるのは2つまでという主張。 Eric Brewer氏のCA