タグ

分散処理に関するlove0hateのブックマーク (3)

  • 分散システムの一貫性に関する動向について

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか? 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性(Eve

    分散システムの一貫性に関する動向について
  • 新たなリアルタイム分散処理フレームワークOSS、Dempsy! - Taste of Tech Topics

    こんにちは。kimukimuです。 Apache S4、Stormに続いて最近Dempsyというリアルタイム分散処理フレームワークのOSSである、 Dempsyが公開されました。 そのため、概要について調べてみます。 ちょうどOverviewページがあるため、そこからポイントをまとめます。 尚、Dempsyに画像はまだありませんので、 微妙に味気ない記事になっているのはご了承ください^^; 1.Dempsyって何? ===== Dempsyは、Nokiaの『分散し、伸縮性を持つメッセージプロセッシングシステム』です。 Dempsyの特徴は下記の4点。 1.分散 Dempsyアプリケーションは複数JVM上/複数マシン上で分散動作する。 2.伸縮可能 アプリケーションの規模を柔軟に増大縮小できる。動的にノードを追加/削除することによって行う。 3.メッセージプロセッシングシステムである Dem

  • No.4 BigDataの次のSTEP リアルタイム分散処理のイマドキ - Advanced Tech Night

    概要 Advanced Tech Night No.4 のテーマは『BigDataの次のSTEP リアルタイム分散処理のイマドキ』. BigDataは今やソフトウェア開発における一要件となりました。 Hadoopを使った大規模データに対する分散バッチ処理がその代表例ですが、 最近では、次の展開としてリアルタイムに分散処理を行う技術が登場してきています。 そこで今回は、リアルタイム分散処理フレームワーク「Storm」や、 現在開発が進められているログ収集フレームワークの新版「FlumeNG」を取り上げ、 最近のリアルタイム分散処理に関する内容をお届けしました。

  • 1