Netflix のデータパイプラインを読み解きたい - ブログ・ア・ラ・クレーム
Netflix はマイクロサービスアーキテクチャ界においてプロダクションで成功例を積んでいる、いわば大先輩だと思われます。 彼らは数多くのイベント登壇や techblog の記事、 GitHub 上による OSS の公開を行っており、それらからアーキテクチャやその変遷を垣間見ることができると考えています。 本記事では筆者が最近悩んでいる、マイクロサービス前提の世界でのログ収集基盤において、 Netflix の様々な事例を調べた結果をつらつら書いていこうと思います。 あらかじめ本記事は正確性を担保しておらず、あくまで筆者個人が調べることができた範囲での記述に留まることをお断りさせていただきます。 Suro: 分散データパイプライン 2015 年くらいにメンテが止まってしまったのですが、分散データパイプラインをうたう Suro というソフトウェアが存在しました。 Suro に関しては解説記事も
高負荷データ処理の各社の事例 - ワザノバ | wazanova
http://highscalability.com/blog/2014/3/24/big-small-hot-or-cold-examples-of-robust-data-pipelines-from.html 1 comment | 1 point | by WazanovaNews ■ comment by Jshiike | 約1時間前 Hakka LabsのFounderのPete Soderlingが、「何でもBig Dataと称する風潮は行き過ぎだが、処理すべきデータが増えてきているのは確か。」として、データ処理プロセスでの各社の取り組みを紹介しています。 Stripe HDFSには、JSONやBSONなど多様なフォーマットのデータを送っている。Thriftとでロジカルな構造を定義し、Parquetでディスクに保存するフォーマットを決めている。複雑なバッチ処理のツールとし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
