3. Copyright©2016 NTT corp. All Rights Reserved. トランザクションの基本 トランザクションとは： データに対する一連の操作を一つにまとめた単位の事 トランザクションマネージャとは： 複数のトランザクションがACIDを守って走るよ うに管理する機構 A: Atomicity 結果がAll-or-Nothingとなる事 C: Consistency 一貫性を守る事 I: Isolation 過程が他の処理から見えない事 D: Durability 結果が永続化される事 Consistentな状態空間 Inconsistentな状態空間 Diskが取りうる全ての状態の空間 Atomicな遷移 4. Copyright©2016 NTT corp. All Rights Reserved. 何らかの実行順(スケジュール空間) 直列に実行した場合の結果
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
shiodaifuku.io
Webエンジニアのブログです。
サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」（マルチホーミング）と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの
映画館を出たわたしは、ジャック・リヴェットの３倍はあったな...と相対性理論による時間のいたずらを全身に感じていました。そしてふと映画を見る前に、このツイートを見て笑っていたことを思い出したのです。 オタクやばいｗｗ（※2019/1 元ツイートが消えていたのでスクショを貼りました） 見る前はそう思っていた。 だが見終わった後に分かった。彼は真実を言っていたのだと。誰もが彼を狂人だと思ったが、彼はまったく狂っていなかった。身を挺して警告をしてくれていたのだ。 それなのにわたしはなにも気づかなかった。狂人と思われていた人はまったく狂っておらず、安全圏にいると思っていたこちらが狂っていたのだ... ということで、『君の名は。』は素晴らしい映画でしたが、わたしは全く理解出来なかった。しかしみんなが感動しているので無理解ぶりを反省し、どうすれば感動できるのかを自分なりに調べたので、自戒を込めてここに
知っているようで知らないNeutron -仮想ルータの冗長と分散- - OpenStack最新情報セミナー 2016年3月 VirtualTech Japan Inc.
最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"という語が意味するところは要するに「過半数ノードによる多数決」というような説明が多いように感じていました。 にも関わらず、"Quorum"と呼ばれているのはなぜか？そんな疑問を持っていたので、この機会に調べてみました。 そうしたら、"Quorum"は過半数/多数決という概念を一般化した非常に抽象でパワフルな概念だということがわかりましたのでここにまとめておきたいと思います。 分散システムにおけるデータ
原発をどうするのか。大きなポイントになっている。簡単な話ではない。しかし、今は再生可能エネルギーが進んで、やめようと思えば、技術的にはやめることは十分可能な時代に入っている。こちらの新潟５区、（自民党公認で立候補している泉田裕彦・新潟県前知事は）この間まで、やめる方向で頑張ってたんじゃないの？ なんか変わっちゃいましたよね。原子力政策の観点からもおかしい。 政治家は、筋を通さなきゃいけない。誰が筋を通しているのかということが問われる選挙になっているんじゃないでしょうか。わたくしは、筋を通さなければいけないという思いの中で、立憲民主党を立ち上げた。筋が通っていない候補者を当選させるようなことがあっては、この国の民主主義はいけないんじゃないか。（新潟県長岡市で開かれた無所属候補の応援演説で）
TL;DR; Eventual Consistencyとか言いながらどうせもっとまともな一貫性実装してることはよくあるんだからみんな適切な名前を使おうぜ。 なぜこの記事を書くのか NoSQLの文脈においてスケーラビリティとのトレードオフでEventual Consistencyという用語は結構な頻度で出てくる。 ACIDに対抗してBASE(Basicaly Avalilable, Soft state, Eventual consistency)なんて言葉が出てきたり、CAP定理の中のAとPだと言ってみたり、分散システムのスケーラビリティを高めるために人類は一貫性を諦めることに余念がない。 その一方で、諦められた一貫性に関しては雑な分類論で語られる事が多く実はもっと適切な言葉があるのに「Eventual Consistencyです」なんて言われる事が良くある。そこで、この記事では過去に並行
EventuallyConsistent - 結果整合性
EventuallyConsistent - 結果整合性 目次 この文書について 結果整合性 歴史の話 クライアント側の整合性 サーバ側の整合性 まとめ 結果整合性 この文書について Werner Vogels "Eventually Consistent" の日本語訳です. http://www.allthingsdistributed.com/2007/12/eventually_consistent.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 近年, データ複製の文脈で 結果整合性(eventual consistency) に関する議論が盛んだ. この記事では大規模データの複製における原則や抽象, 高可用性とデータ整合性のトレードオフに関する話題をいくつか集めてみたいと思う. 現在進行中の分野であり, 全ての定義が最初から明快であるとは思わないでほ
TECH x GAME COLLEGE #20 (https://techxgamecollege.connpass.com/event/129268/) で, データの整合性を保つという観点から, マイクロサービスや RDBMS との付き合い方などの話しをしました. その際に使用したスライドとなります.
40代、50代の人たちはなぜ表現しないのかhttp://d.hatena.ne.jp/hyoshiok/20090517#p1 には多数のアクセスをいただいた。日記を書いたおかげで多くの人から様々なコメントやトラックバックをいただいた。これもインターネットの可能性、ポジティブな側面だ。ありがたいことである。御礼を申し上げたい。 反応は大きくわけて二つ。A：40代、50代は表現していいる。お前が知らないだけだ。B:40代、50代は表現していない。 Aのパターンは、嬉しいサプライズである。いろいろな人から、こーゆー面白いブログがあるよとか、こーゆー表現があるよという情報を頂いた。トラックバックもいろいろ拝見した。コメント欄に自分は40代、50代と多くの人が名乗ってくれたのは本当に嬉しかった。 IT産業にいるとどもせっかちでいけない。書いているおじさんもいる*1。漫画で教えてもらった。書いている
Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin
2015年12月18日に行われたビッグデータ基盤勉強会で発表する際に使った資料です。Read less
CAP 定理と BASE の概念を考えたのは UCB の Brewer 先生で、彼は inktomi の偉い人だったというのは前回述べた。 当時のinktomiはYahoo!や Microsoft、それにgooにも検索エンジンを提供していて、1億以上のWebページ(テラバイト級のデータ)を扱っていたようだ。 手元のWEB+DB PRESS Vol.49 のはてなブックマークリニューアル記事によると、現在のはてなブックマークは1160万URLと100GBのHTMLデータ(圧縮済み)を扱っているらしいので、ざっくりいって98年の時点でinktomi は現在のはてブの10倍のデータを扱っていたといってもいい。inktomiで使っていたコンピュータの性能は現在のPCサ ーバに比べれば1/10程度の性能なので、システム全体でみると現在のはてブの100倍の規模になるだろうか。 結果的には、inktom
facebook/relay: Relay is a JavaScript framework for building data-driven React applications.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
時系列で 1990年代後半: Eric Brewer (UCB)が inktomi でいろいろ作る CAPとBASEの基礎ができる http://www.ccs.neu.edu/groups/IEEE/ind-acad/brewer/ 2000年7月19日: Eric Brewer が PODC (Principles of Distributed Computing) の基調講演で CAP 定理?と BASE を発表 CAP は Brewer 予測として知られるようになる この時点で、inktomiと同等スケールのWebサービスの問題に対処していた人はあまりいなかったのかもしれない 2002年 MIT の Seth Gilbert と Nancy Lynch が CAP を形式化 ここで Brewer の CAP が晴れて定理となった この間、よくわからず 2007年-: eBay の
CAP定理 - Wikipedia
CAP定理はブリュワーの定理とも呼ばれ、分散コンピュータシステムのマシン間の情報複製に関する定理。ウェブサービスを想定して作られた定理。 ノード間のデータ複製において、同時に次の3つの保証を提供することはできない[1][2]。 一貫性 (Consistency) すべてのデータ読み込みにおいて、最新の書き込みデータもしくはエラーのどちらかを受け取る。 可用性 (Availability) ノード障害により生存ノードの機能性は損なわれない。つまり、ダウンしていないノードが常に応答を返す。単一障害点が存在しないことが必要。 分断耐性 (Partition-tolerance) システムは任意の通信障害などによるメッセージ損失に対し、継続して動作を行う。通信可能なサーバーが複数のグループに分断されるケース（ネットワーク分断）を指し、1つのハブに全てのサーバーがつながっている場合は、これは発生しな
Paxosアルゴリズム - Wikipedia
Paxosとは信頼性が低いプロセッサのネットワークにおいて合意の問題を解決するためのプロトコルの集合である。 合意とは参加者のグループにおいて単一の結果について合意を得るプロセスである。参加者や通信手法に障害が起きる可能性がある場合、この問題は困難なものとなる[1]。 合意プロトコルは分散コンピューティングにおける状態機械アプローチの基礎であり、これはレスリー・ランポート[2]により提案され、Fred Schneiderによってサーベイがなされている[3]。 Paxosプロトコルは1990年に登場し命名されたが、論文として出版されたのは1998年であった[4]。 これ以前に、ナンシー・リンチ、Cynthia Dwork、Larry Stockmeyerは"部分同期"システムの広い範囲における合意形成方法を例証している。Paxosは分散トランザクションの文脈において、1988年にOkiとBa
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
排他制御とは 共有資源（データやファイル）に対して複数のアクセスが見込まれる場合に、同時アクセスにより不整合が発生することを防ぐため、あるトランザクションが共有資源（データやファイル）にアクセスしている時は他トランザクションからはアクセスできないようにして直列に処理されるように制御すること。 ■同時アクセスによる不整合の例 ■排他制御をすることで整合性を保つ 排他制御の方式 排他制御の実現方式はいくつか存在するが、ここでは代表的な楽観ロック（楽観的排他制御）と悲観ロック（悲観的排他制御）を紹介する。 楽観ロック（楽観的排他制御） 楽観ロックとは、めったなことでは他者との同時更新は起きないであろう、という楽観的な前提の排他制御。データそのものに対してロックは行わずに、更新対象のデータがデータ取得時と同じ状態であることを確認してから更新することで、データの整合性を保証する方式。楽観ロックを使用
ブロックチェーンの「合意」の意味を、我々は合意できているのか？（下）：宮澤 慎一=セコムIS研究所 - 日経FinTech - ITpro
前回は、これまで研究されてきた分散システムにおける「合意」とビットコインの「合意」の意味を比較しながら、ビットコインにおける「合意」の意味にいくつかの解釈の余地があることを説明した。 今回は最初に、「ビットコインが初めて問題を解決した」「いや解決していない」などと議論を呼んだ分散システムの難題、「ビザンチン将軍問題」を紹介する。 次に、ビザンチン将軍問題が、ビットコインのようなP2Pシステムにとってどのような意味があるのか、過去の研究からビットコインに関係する論文として「The Sybil Attack」と「Exposing Computationally-Challenged Byzantine Imporstors」を紹介する。 そして最後に、ビザンチン障害に耐性があるシステムを作れたとしても、プログラム（アルゴリズム）の正しさだけに依存してシステムを運営・維持することには限界があり、
同時実行制御とSQLite3 - Qiita
Intro 同時実行制御とは, 共有リソースにアクセスする複数のトランザクションを, いかに並列処理しつつ競合によるデータ破壊を回避するかを扱う分野である. 昨今のアプリケーションではクライアントが複数いることは珍しくない. 同時アクセスを許容せず, クライアントからの要求を直列的に処理できれば同時実行制御の課題は解決されるが, アプリケーションのレスポンスは極端に低下し使い物にならない. パフォーマンスの低下を抑えるためにトランザクションを並列化し, かつリソースの整合性を保証しなければならないため, 同時実行制御を考える必要が出てくる. Conflict 並列処理されるトランザクションの競合を制御しなかった場合の問題は主に4種類ある. 基本的にデータの一貫性は保証されない. Dirty Read (w-r) コミットされていないデータを別のトランザクションから参照できてしまう問題. ト
Eventually Consistent - RevisitedDecember 23, 2008 • 3261 words I wrote a first version of this posting on consistency models about a year ago, but I was never happy with it as it was written in haste and the topic is important enough to receive a more thorough treatment. ACM Queue asked me to revise it for use in their magazine and I took the opportunity to improve the article. This is that new v
July 28, 2008 Volume 6, issue 3 PDF Base: An Acid Alternative In partitioned databases, trading some consistency for availability can lead to dramatic improvements in scalability. Dan Pritchett, Ebay Web applications have grown in popularity over the past decade. Whether you are building an application for end users or application developers (i.e., services), your hope is most likely that your app
Spanner is Google's scalable, multi-version, globally-distributed, and synchronously-replicated database. It is the first system to distribute data at global scale and support externally-consistent distributed transactions. This paper describes how Spanner is structured, its feature set, the rationale underlying various design decisions, and a novel time API that exposes clock uncertainty. This AP
Home
2025 Dates Announced Data Council is heading back to the Bay! 📍 Oakland, CA 🗓️ April 22nd - 24th, 2025 The "No Bull💩" Data Community Since 2013 we've been bringing together the brightest minds in data to share insider industry knowledge, technical architectures and best practices on building the cutting-edge data processing systems and tools of the future.
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickr”
LinkedIn operates the world’s largest professional network with more than 645 million members in over 200 countries and territories. This team builds distributed systems that collect, manage and analyze this digital representation of the world's economy, while our AI experts, data scientists and researchers conduct applied research that fuel LinkedIn’s data-driven products and provide insights tha
Continuing my series of queries about how "Web 2.0" companies used databases, I asked Cal Henderson of Flickr to tell me "how the folksonomy model intersects with the traditional database. How do you manage a tag cloud?" He replied: "lots of the 'web 2.0' feature set doesn't fit well with traditional normalised db schema design. denormalization (or heavy caching) is the only way to generate a tag
If all these new DBMS technologies are so scalable, why are Oracle and DB2 still on top of TPC-C? A roadmap to end their dominance.
(This post is coauthored by Alexander Thomson and Daniel Abadi) In the last decade, database technology has arguably progressed furthest along the scalability dimension. There have been hundreds of research papers, dozens of open-source projects, and numerous startups attempting to improve the scalability of database technology. Many of these new technologies have been extremely influential---some
This clickable map (adapted from Bailis, Davidson, Fekete et al and Viotti & Vukolic) shows the relationships between common consistency models for concurrent systems. Arrows show the relationship between consistency models. For instance, strict serializable implies both serializability and linearizability, linearizability implies sequential consistency, and so on. Colors show how available each m
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architect. View an example
Introduction to Cassandra: Replication and Consistency
A short introduction to replication and consistency in the Cassandra distributed database. Delivered April 28th, 2010 at the Seattle Scalability Meetup.Read less
Errors in Database Systems, Eventual Consistency, and the CAP Theorem | blog@CACM | Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up Recently, there has been considerable renewed interest in the CAP theorem [1] for database management system (DBMS) applications that span multiple processing sites. In brief, this theo
A new commit protocol and transaction programming model for efficiently achieving strong consistency in databases across data centers. With the emergence of cloud services, distributed databases have benefited from many of the advantages of deploying on a clusters of machines. However, entire data centers of machines can fail. Here are just a few recent data center failures, and one even losing cu
で、まこれは「総意」でいけなくもないけど、総意だと全会一致って雰囲気が強い。全会一致じゃないから多数決したり欠席の奴は無視したり頑張ってるわけだけど、ま、全体として到達した総意ってことで。 定足数総意よりもクォーラム・コンセンサスの方が言いやすいだろうし、分かりやすい。 ---- まずは一歩下がって分散システム(distributed system)とは何か。 - 複数のプロセスが協調して何らかを行うこと この場合のプロセスとはメモリで実行されてるプログラムという意味でのプロセス。 分散システムのメインテーマは（信頼性の低い）部品からいかに全体として信頼できるシステムを作れるかということ。 信頼性(reliability)とはなにか - 耐故障性（フォルトトレランス fault-tolerance） - 高/持続可用性(availability) - パフォーマンス - 回復性(recov
Update, 2018-08-24: For a more complete, formal discussion of consistency models, see jepsen.io. Network partitions are going to happen. Switches, NICs, host hardware, operating systems, disks, virtualization layers, and language runtimes, not to mention program semantics themselves, all conspire to delay, drop, duplicate, or reorder our messages. In an uncertain world, we want our software to mai
軽崩しのVW、2つの思惑 日欧EPA交渉で優遇撤廃を要求 世界首位へトヨタ系に一撃 スズキ揺さぶり再び手中に - 日本経済新聞
日本と欧州連合（EU）の経済連携協定（EPA）締結交渉が24日、都内で始まった。焦点の自動車分野ではEU側が日本の軽自動車の優遇措置などの撤廃を強く要求。この動向を注視するのが独フォルクスワーゲン（VW）だ。世界販売首位を競うトヨタ自動車に一撃を加え、提携解消を巡り調停中のスズキを揺さぶる2つの思惑も垣間見える。「欧州車と日本車の"均衡の取れた結果"となるよう、交渉を見守る」。欧州自動車工業会
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
トランザクションの設計と進化
データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
映画『君の名は。』に感動する方法｜akiko_saito
クラウドを支える基盤技術の最新動向と今後の方向性
最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita
立憲・枝野代表「誰が筋を通しているのか問われる選挙」：朝日新聞デジタル
Eventual Consistencyまでの一貫性図解大全 - Qiita
ゲーム開発に携わる Web エンジニアへ贈る, 正しい Web サーバの作り方.
クラウドにはぐっとこないけど、BASEやCAP定理は面白い - 未来のいつか/hyoshiokの日記
トランザクションをSerializableにする4つの方法
yohei-y:weblog: CAPのCとACIDのC
yohei-y:weblog: CAP と BASE について調べたこと
分散アーキテクチャにおいて一貫性と交換でスケーラビリティを手に入れる
排他制御（楽観ロック・悲観ロック）の基礎 - Qiita
Eventually Consistent - Revisited
BASE: An Acid Alternative - ACM Queue
Spanner: Google's Globally-Distributed Database
O'Reilly Radar > Database War Stories #3: Flickr
Consistency Models
CAP Twelve Years Later: How the "Rules" Have Changed
MDCC: Multi-Data Center Consistency
分散システムにおける信頼性と総意（クォーラム・コンセンサス） | j3259の日記 | スラド
Strong consistency models
https://dl.acm.org/doi/10.1145/1394127.1394128?ret=1&dl=GUIDE&coll=GUIDE&CFTOKEN=63811219&CFID=15360073