Pinterest: 漏れなくログを拾うSectorをオープンソースで提供 - ワザノバ | wazanova
http://engineering.pinterest.com/post/84276775924/introducing-pinterest-secor 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Pinterestが課金フローのログ収集に使っているSectorをオープンソースで提供しました。KafkaからAmazon S3などの長期保存用のストレージにログを送る仕組み (構成図) ですが、Amazon S3を利用した場合も、その結果整合性（アップロードされたデータがすぐ可視できる状態にならないケース & ファイルが一旦消えたようになり後ほど復活するケースが起こりうる。）に影響うけずに、データ消失がなく、スケール可能で、日付でデータのパーティションを区切ることもできるとのこと。 その信頼性を担保
仮想化方式(HVM と PV)についてまとめ - 水深1024m
EC2 における仮想化方式や kernel の扱いにはいくつか種類があって、 カスタマイズ (パフォーマンスチューニングなど) をする上で必要になることがあります。 C3 インスタンスや I2 インスタンスの登場で、それらがより重要になってきた感があるので一度まとめてみます。 * この記事は基本的に Linux についてまとめています 大前提 世に出ている仮想化基盤はいくつかありますが EC2 に使われているのは Xen です。 ただし ハードウェアサポートの追加、インスタンスタイプに応じた各 VM リソースの割り当て方、 ネットワークの扱いなど、 Xen そのものに相当なカスタマイズが行われていることは想像に難くないと思います。 (とか言って API から上だけで実現されていたらそれはそれで面白いですね) 仮想化方式 PV (paravirtual) EC2 ではサービス開始当初から P
【Consul】ブロッキング・クエリ(blokcing query)とは | Pocketstudio.jp log3
Consul には様々な機能があります。Serf に使い慣れていれば、サーバ・ノード間の関係や、CLI や agent としてのコマンドの扱いは、Serf の通りだとは思います。 しかし、まったく新しい概念がいくつかあり、主立ったものは JSON を使ったインターフェースと、それを通した「 Blocking Query 」（ブロッキング・クエリ）ではないでしょうか。 割と新しい概念であり、使いどころは「これから」という所は多少あるものの、仕組みとしてはシンプルで分かりやすいものかと思います。 ■ blocking query とは Consul の持っている特色の１つに HTTP 経由の API を持つほか、bloking query という仕組みを内包している点だと思います。 blocking query とは、Consul のドキュメントには、「エンドポイント（API へのリクエスト先
Not Your Father's Java: An Opinionated Guide to Modern Java Development, Part 1 | Parallel Universe
May 01, 2014 Not Your Father's Java: An Opinionated Guide to Modern Java Development, Part 1 By Ron This is part 1 in a three-part series: part 2, part 3 More working, useful code has been written in the Java programming language than in any other in history, with the possible exceptions of C and COBOL. When Java was released almost 20 years ago, it took the software world by storm. It was a simpl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビットコイン紛失とMongoDBの結果整合性
