AWSにおける形式手法 - masateruk’s blog
AWSにおける形式手法の記事（https://lamport.azurewebsites.net/tla/formal-methods-amazon.pdf）を読んだ。特に重要だと思われる示唆を3つあげると以下の通り。 産業界では長年形式手法は多大な工数をかけて比較的容易なコードの断片を検証するというイメージがあったが、これはまったくの誤り。現実の問題に適用可能である アマゾンでは10の現実のシステムに適用して、すべてで効果が得られた。難解なバグの発見したり、正当性を犠牲にすることなく確信を持って最適化を施せた 7つのチームでTLA+を使用。エンジニアは2−3週間で学習することができる 以下は、読んでいる途中で書きだした要点。 AWSでは2011年以降形式仕様とモデル検査を使用している 複雑な分散システムを検証するにあたって、従来の手法 ― 設計レビュー、コードレビュー、静的解析、ストレス
分散型NoSQLデータベースの「Basho」をオンラインブックメーカーの「Bet365」が買収。全製品のオープンソース化を表明
分散型NoSQLデータベースの「Basho」をオンラインブックメーカーの「Bet365」が買収。全製品のオープンソース化を表明 分散型NoSQLデータベースの「Riak」を開発、販売していた米Basho Technologiesは、8月下旬にオンラインブックメーカーの英Bet365 Groupに買収されたことが明らかになりました。 BashoのRiakは分散NoSQLデータベースで、キーバリューストア、オブジェクトストレージ、時系列データベースなどの機能を備えた製品が用意され、関数型言語の1つであるErlang（アーラン）が開発に使われていることでも知られていました。 買収したBet365はグローバル展開している老舗のオンラインブックメーカー。サッカーや野球、クリケット、ラグビー、、競馬、アイスホッケー、サイクリング、ダーツ、eスポーツなど、さまざまなスポーツを中心にオンラインによるブック
Petuum | Next-Generation AI Automation
Subscribe to our NewsletterStay up to date on all Petuum news and content
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
分散プログラミングモデルおよびデザインパターンの考察 その1 - Software Transactional Memo
Yahooの技術者が書いたブログ techblog.yahoo.co.jp が悪い方向に期待を裏切ってくれたのに対し、 @kuenishi さんがまとまった文章 kuenishi.hatenadiary.jp を書いていたので、僕も2番煎じぐらいでまとまった文章を書く。 始めに断っておくと、分散システムというのはまだまだ事例を集めていくフェーズを抜けきっておらず、体系立った大統一理論的な分類法は確立していない。ここに書くのは、これまでの分散システム事例やこれからの分散システム事例を分類していく際にその性質をカテゴライズする一助となれば良いな、程度の文章なのであまり真に受けないで欲しい。 なぜYahooの記事が期待はずれなのか 人によって意見はあるとは思うが、個人的に感じたのは以下の３つ。 分散システムのデザインパターンと銘打っておきながら並列・並行システムの分野の話からクラウド環境へとこじ
分散プログラミングモデルおよびデザインパターンの考察 その3 - Software Transactional Memo
昨日に引き続いて分散システムのデザインパターンについて書いていきたい。 だがそれ以前に故障モデルに関する前提を忘れてはならない。人によって様々な方針があるが、個人的には分散システムの世界において意識しなくてはならない故障モデルは4つだと考えている。僕は前回のブログに書いた Replication の本をベースに書いており、少し言葉遣いや定義が他とやや違う点は許して欲しい。また、通信の脱落・遅延とはレイヤーが異なる議論である。 故障モデルの分類 故障が起きないモデル これは故障が起きない世界を仮定するモデルである。これ自体はプロダクションにそのまま投入できるものではない。だがこの故障モデルを想定しても解けない問題は故障が発生する状況では絶対解けない事が断言できたり、合意プロトコルが正しいかを議論する土台となったり、様々な実用的なアルゴリズムや分散システムの土台となるアルゴリズムが生まれる土壌
スプリットブレインシンドローム - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "スプリットブレインシンドローム" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2023年5月） スプリットブレインシンドローム（split-brain syndrome）またはネットワークパーティション問題とは、複数のコンピュータ（ノード）を相互接続して1台のサーバのように動作させるシステム（密結合クラスター）において、ハードウェアやインターコネクトの障害によりシステムが分断され、1つのサービス（仮想IPを含む）がクラスタ内の複数のノード群で同時に起動してしまい、サービス供給が停止してしまう状況のこと。 スプリットブレインシンドロームが
A Year in Papers | the morning paper
the morning paper a random walk through Computer Science research, by Adrian Colyer Made delightfully fast by strattic We’ve reached the end of term again, and I’m taking a break from writing up papers over the holidays – a chance to replenish my backlog and start planning for 2016 too! I want to see what I can do to improve the readability of the site as well. The Morning Paper will resume on the
Private Presentation
Private content!This content has been marked as private by the uploader.
Apache Twill – Home
This project has retired. For details please refer to its Attic page. What is Apache Twill? Apache Twill is an abstraction over Apache Hadoop® YARN that reduces the complexity of developing distributed applications, allowing developers to focus instead on their application logic. Apache Twill allows you to use YARN’s distributed capabilities with a programming model that is similar to running thre
Linearizability versus Serializability | Peter Bailis
Peter Bailis :: Highly Available, Seldom Consistent Data management, distributed systems, and beyond Linearizability versus Serializability 24 Sep 2014 Linearizability and serializability are both important properties about interleavings of operations in databases and distributed systems, and it’s easy to get them confused. This post gives a short, simple, and hopefully practical overview of the d
システム系論文輪読会で話してきた #pfisystemreading - kuenishi's blog
先週の金曜日に、PFIで開催されたシステム系論文輪読会で話してきた。いい加減に積んであるものが多すぎて、こういった機会に便乗して自分を追い込まないと何もできないからである。 第2回 システム系論文輪読会 - connpass 僕が読んで解説したのは Peter Bailis et al., "Coordination-Avoiding Database Systems" VLDB 2015, to appear である。この論文がどれだけすごいものであるかという話についてはぼくのレジュメを参照いただくとして…この論文は神林さんに教えてもらったのだけど、VLDBやBailisのグループは要チェックだということを再確認した。この論文、なかに分散システムの証明が書いてあったりするのだけど、21回も続いている分散合意本読書会で鍛えた証明の読解力で割とスラスラとノリを理解できたので感動した。というわ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
このページを見るには、ログインまたは登録してください
分散システムについて語らせてくれ
dmlc.ml
Asynchronous Complex Analytics in a Distributed Dataflow Architecture
Spark Bindings
HDFS Federation
Naiad: A timely dataflow system
aphyr - Overview