FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
Riak 02 データ構造/オブジェクト操作 | Ore no homepage
気がついたら今年もあと9ヶ月ですね。そういや、また新入社員とか入ってくるのか。ああ、またそろそろ旅に出たい。酒ばっか飲んでないでお金貯めよう。えっと、あの、その、、、前回の記事でインストールから基本的な設定をして起動までできた。じゃあ次は適当にデータでも入れてみよっか。curlとPythonで遊んでみる。あ、Riakのバージョンは1.3.0ね。Pythonクライアントのバージョンは1.5.2。 クライアントからのデータ操作は、HTTP経由(ポート:8098)またはプロトコルバッファ経由(ポート:8087)となる。 0. データ構造 まず、データ構造について。いわゆるkey-valueストア。テキスト、画像など(たぶんなんでも)が保存可能。構造としては、bucketと呼ばれる箱の中にkey/valueの集合が入る感じ。バケットおよびキーはそれぞれ一意な名前である。バケットがテーブル(Cass
Riak 01 インストール/基本操作 | Ore no homepage
風邪引いて寝込んでた。明日の花見行けるかなー。さて、Riakで少し遊んでみる。環境はAWSのマイクロインスタンス、OSはAmazon Linux、Riakのバージョンは1.3.0。まずはインストールから基本的な操作までやってみる。Riakって何だよ？って人はこのスライドがわかりやすいんで読んでいただくと。まぁ、Dynamo派生のデータストアだけあって、仕組みやコンセプトは俺/俺達を苦しめているCassandraと近い。 AWSの場合、一番簡単なのはaws marketplaceからのインストール。Riak入りのインスタンスが起動できる模様。しかしながら提供されているRiakちょっとバージョンが古かったので、今回は自前で構築することにした。 0. インスタンス起動とセキュリティグループ設定 インスタンスをぽちぽちと起動。Riakに関連するセキュリティグループは次の通り。 HTTPポートとPr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
