分散システムにおける一貫した時刻の取り扱いの課題と解決策 - Spanner TiDB CockroachDBに学ぶ - hacomono TECH BLOG
この記事は hacomono advent calendar 2024 の18日目の記事です 今年9月にhacomonoにJOINし、基盤本部というところで今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。分散システムが好きです。 hacomonoも昨今のWebサービスの例にもれず、分散システム化しています。 そしてより高い可用性と低い運用コストを目指して新たなアーキテクチャの検討をしています。 今回はその取り組みのなかで、分散システムに関わる難しさというテーマで一貫した時刻の取り扱いの話で記事を書きます。 はじめに 昨今のWebをはじめとしたサービスは一つのサーバーで完結することが少なくなりました。 一つのアプリケーションを複数のサーバーやコンテナで、そして異なるサービスのシステムを組み合わせて「分散システム」として構築されています。 それは可用性や負荷分
Aurora MySQL バージョン 2 と Aurora MySQL バージョン 3 の比較 - Amazon Aurora
Aurora MySQL バージョン 2 クラスターをバージョン 3 にアップグレードする際に注意すべき変更については、以下を参照してください。 アトミックデータ定義言語 (DDL) のサポート MySQL 5.7 から 8.0 への最大の変更の 1 つは、アトミックデータディクショナリの導入です。MySQL 8.0 より前では、MySQL データディクショナリはファイルベースのアプローチを使用して、テーブル定義 (.frm)、トリガー (.trg)、関数などのメタデータをストレージエンジンのメタデータ (InnoDB など) とは別に保存していました。これには、DDL オペレーション中に予期しない事態が発生した場合にテーブルが "孤立" し、ファイルベースとストレージエンジンのメタデータが同期しなくなるリスクなど、いくつかの問題がありました。 これを修正するために、MySQL 8.0 は
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ（InnoDBの場合16KB）の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ
AWS と Azure のデータベース テクノロジの比較 - Azure Architecture Center
Amazon RDS と Azure リレーショナル データベース サービス Azure には、AWS のリレーショナル データベース サービス (Amazon RDS) に相当するいくつかの異なるリレーショナル データベース サービスが用意されています。 これには以下が含まれます: SQL Database Azure Database for MySQL Azure Database for PostgreSQL SQL Server、Oracle、MySQL などの他のデータベース エンジンは、Azure VM インスタンスを使用してデプロイできます。 Amazon RDS のコストは、CPU、RAM、ストレージ、ネットワーク帯域幅など、インスタンスが使用するハードウェア リソースの量によって決まります。 Azure データベース サービスでは、コストは、データベースのサイズ、コンカ
DynamoDBとCloud Spannerのパフォーマンスの比較 - Tech Inside Drecom
はじめに 弊社の主な事業はスマホ向けゲームの開発と運営で、DBもゲーム向けのものに関心があります。AWS(Amazon Web Services)とGCP(Google Cloud Platform)でソリューションを検索すると、それぞれDynamoDBとCloud Spannerをゲーム向けと位置づけています。DBの選定はパフォーマンス以外の要因で決まることが多いのですが、純粋なパフォーマンスも知っておきたく、調べてみることにしました。（追記：GCPのサービスのベンチマークを公開する場合は、Googleから書面による同意をもらうなどの要件があります。AWSの方は、再現に必要なすべての条件を公開していれば済みます。） なお本稿はサーバーエンジニアを対象とした内容になっています。 アクセスの種類 スマホ向けゲームはDBアクセスにおいて一般に書込みの割合が多いアプリケーションであり、同時にチー
OLTPとOLAPの違いとは？ ～データベースの使用用途による違い～｜データ分析用語を解説 - GiXo Ltd.
本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） データベースに求める処理性能は大量アクセス？ それとも大量データ？ データベースと言っても様々な種類があり、表形式のテーブルを使った構造化データのリレーショナルデータベース。それ以外のJSONやXMLなどを使った非構造化データのNoSQLデータベースがあります。これらと違うデータベース分類視点として”OLTP”と”OLAP”というものがあります。今回はこの2つの違いについて説明したいと思います。 OLTP（オンライントランザクション処理）データベースとは OLTP（Online Transaction Processing）データベースとは、トランザクション処理を行うことを目的としたデータベースです。トランザクション(Transaction)には2つの意味はあり、英語直訳
データベース事始め - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TensorFlowのような機械学習にはデータベースは必要不可欠です。ただ、このデータベースについての知識がゼロでしたので、まずはRDBMSからNewSQLまでの初心者向けの知識を簡単にまとめてみました。データベースに関わっている人からすれば当たり前の内容です RDBMS RDBMS(リレーショナルデータベース管理システム)は、下記のMySQLなどに代表されるRDB管理のための専用ソフトウェアです。RDBは、データを「行」と「列」からなる２次元の表（テーブル）形式で表し、複数の表と表の間でデータ同士を関連付け（リレーションシップ）を行う
いろいろな言語での Map, Dictionary 的なものの名前 - Qiita
いろいろな言語で、キーと値とを対応づけるデータ構造、いわゆる連想配列、辞書、……たちがどのように呼ばれているか、気になったので調べてみた。 おおよそ、対応表（map）、辞書（dictionary）、実装の名前をそのまま（hash-table）、 Perl風（hash）に分けられると思う。 Common Lisp: hash-table Scheme: hash-table (SRFI-69, SRFI-125 → R7RS-large), hashtable (R6RS Scheme, SRFI-126), map (SRFI-44), mapping (SRFI-146) Haskell: Map OCaml: Hashtbl, Map SML: hash_table (sml-nj-lib) C++: map, multimap, unordered_map, unordered_mu
Bitcoin vs Ethereum | The Investor's Podcast Network
To provide a fair comparison between Ethereum and Bitcoin I will start by defining the basics, and expand on how each of them can be used without drilling down too deep into the technical details A transaction is some change of state. This could be the transfer of value from one individual to another, the delivery of a private message, the broadcast of a public message, the creation of an account,
Comparison of Ethereum, Hyperledger Fabric and Corda
With this paper, we provide a brief analysis of the most notable differences between the distributed ledger technologies (DLT) Hyperledger Fabric, R3 Corda and Ethereum. Our intention is to give decision makers new to DLT guidance for what use cases Hyperledger Fabric, Corda and Ethereum are most suitable. — Authors: Martin Valenta, Philipp Sandner Download the article as PDF file. Three different
Pardon Our Interruption
Pardon Our Interruption... As you were browsing something about your browser made us think you were a bot. There are a few reasons this might happen: You're a power user moving through this website with super-human speed. You've disabled JavaScript and/or cookies in your web browser. A third-party browser plugin, such as Ghostery or NoScript, is preventing JavaScript from running. Additional infor
PostgreSQLとMySQLとMariaDBのNoSQL実装状況 - Qiita
Happy Birthday to me!! この記事はラクス Advent Calendar 2016の6日目です。 昨日は@morihirokさんの「rmの-fオプションで泣かないために」でした。 OSS RDBに実装されたNoSQL実装状況まとめ いつの間にやら主要なOSSなRDBであるPostgreSQLとMySQL/MariaDBにNoSQL機能（というよりもドキュメントDB機能）が付いていたので仕事にも使えそうなのでまとめ。 各種都合によりPostgreSQL優遇気味で。しかし "PostgreSQL contains NoSQL." の「お前は何を言っているんだ」感がすごいですね……。 各DBMSごとのNoSQL機能実装バージョン PostgreSQL PostgreSQL 9.4でjsonb型がサポート 9.2でサポートされたjson型（テキスト）から発展し、jsonb型は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL 8.0へのアップグレードのメリットと必要性
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
https://www.pgecons.org/wp-content/uploads/PGECons/2015/WG2/14_Appendix_01_Architecture.pdf
Compare CockroachDB
Pardon Our Interruption
Best Database Software in 2020 | G2
Memcached, MongoDB, Redis, DynamoDB 簡易比較 - Qiita
Elixir ETS Versus Redis