Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
キーポイント For object-oriented design we follow the SOLID principles. For microservice design we propose developers follow the “IDEALS”: interface segregation, deployability (is on you), event-driven, availability over consistency, loose-coupling, and single responsibility. Interface segregation tells us that different types of clients (e.g., mobile apps, web apps, CLI programs) should be able to inte
お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac
RDBの限界とNoSQLの登場
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー
Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin
RDBの限界とNoSQLの登場 - Qiita
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html NoSQLの登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャーディング
This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn.AWS S3 is a service every engineer is familiar with. It’s the service that popularized the notion of cold-storage to the world of cloud. In essence - a scalable multi-tenant storage service which provides interfaces to store and retrieve obje
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について - Qiita
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について AWSRDSnosqlDynamoDBAurora 初めに TwitterのDB界隈で少し話題になっていた特集の記事について、個人的に気になった指摘事項の一覧です。 記事自体は限られた紙面数で簡潔に読みやすくまとまっており、特にAurora/RDSについては要注意なポイントについてもまとめられていてわかりやすいものでした。 しかしながら、私知識と経験の範囲内での判断で、説明不足や技術的に誤解を招く表現等が見られたのでまとめてみます。 ※執筆者は普段の業務も忙しい中で限られた時間、紙面数で対象読者に向けて記事をまとめるので必死でしたでしょうし、どんな人でもどうしても経験や知識の範囲は限られてしまうことから、誰も
Deep Dive: NewSQL Databases
Overview One of my colleagues, @margo_hdb, recently posted a great article Database Architectures & Use Cases - Explained here on dev.to. In response a user asked for a deeper dive on NewSQL databases, so I thought I would put one together. The term NewSQL was coined in 2011 by 451 Group analyst Matthew Aslett. Wikipedia defines the term below: “ NewSQL is a class of relational database management
Amazon S3のイベント通知は「稀に失われる」から「少なくとも1回配信」になっていました | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので
Creating Microservices with Python Introduction to Microservices Benefits of Microservice Drawbacks of Microservice Why Microservice in Python Introduction to FastAPI Why FastAPI Installing FastAPI Creating Simple REST API using FastAPI Using PostgreSQL Database with FastAPI Microservice Data Management Patterns Database Per Service Shared Database API Composition Creating a Python Microservice in
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
Today, we are announcing a change to Akka’s license model so that Akka can be a thriving project for many decades. I created Akka 13 years ago out of love for programming, distributed systems, learning new things, and open source. It’s been a fantastic journey so far (read about Akka’s inception and early days here). Today, Akka is exceptionally reliable, scalable, and performant. It is the runtim
執筆に際して、フィードバックとレビューをしてくださった堤隆道さんに感謝します。 Special thanks to Takamichi Tsutsumi for feedback and review. 1. はじめに 「すべて偉大なものは単純である。」 『音と言葉』・フルトヴェングラー 日本語で書かれた技術系記事の課題 トピックに限らず、日本語で特定の技術に関して検索をかけると、検索結果が英語での検索に比べて圧倒的に少ないことに加えて、検索結果の99%は以下のいずれかに該当することがわかるでしょう。 幅広い読者層を意識するあまり、解説が表面的すぎる 解説自体は詳しいが、数学や技術に偏りすぎていて、読者層が限定される 海外の有名な記事の直訳 検索結果の絶対量については、テクノロジー分野が英語圏を中心として発展してきたことに起因するため、日本語化に至るまでに多少のタイムラグがあるのは仕方がな
Welcome to Wildebeest: the Fediverse on Cloudflare2023-02-08 The Fediverse has been a hot topic of discussion lately, with thousands, if not millions, of new users creating accounts on platforms like Mastodon to either move entirely to "the other side" or experiment and learn about this new social network. Today we're introducing Wildebeest, an open-source, easy-to-deploy ActivityPub and Mastodon-
AWS CloudFormationの最近の変更 AWS CloudFormationでは2023年末から2024年6月にかけて多くの改善・機能追加がありました。 特に下記は「三大変更点」と呼んでもいいかなと思います。 Gitと同期(Git Sync) (2023/11) IaCジェネレーター (2024/02) オンラインエディタをデザイナーからApplication Clomposerへ変更 (2024/03) また、『最近CloudFormationのデプロイが早くなった気がする』とか思っている人も多いと思います。下記の変更がアナウンスされています。 4 スタック作成を高速化 (2024/04) スタックセットでも地道に変更があり、オプションが追加されています。 5 スタックセットで「同時実行モード」オプション追加 (2023/11) 他にも変更はありますが、CloudFormati
こんにちは、LINEヤフー株式会社でデータベース部門に所属している、今野です。現在は、先日LINEヤフー社内にて提供を開始したFractalDBの開発と運用を担当するチームに所属しています。 FractalDBは、LINEヤフーのオンプレミス環境に向け開発された、データベースプラットフォームです。この記事では、FractalDBの概要として、開発に至った背景や設計目標から、その特徴およびアーキテクチャの概要について紹介します。 また、LINEヤフーでは今夏のインターンシップを募集しています。FractalDBチームも募集してますので、ページの最後の紹介をぜひ確認してみてください。 FractalDBとは FractalDBは、LINEヤフーのオンプレミス環境に最適化されたデータベースプラットフォームとして開発されています。リレーショナルデータベースとNoSQLデータベースの利点を融合させた
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO
[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent Amazon S3でstrong read-after-write consistencyがサポートされました。これまで結果整合性だった上書きPUTとDELETE操作でも書き込み後の読み込み整合性が提供され、すぐにオブジェクトの最新情報の取得が可能になっています。 はじめに 清水です。はじまっていますre:Invent 2020！すでにたくさんの新サービス登場やアップデート情報が発表されていますが、本エントリでお届けするのはこちら、オブジェクトストレージサービスであるAmazon S3で強い書き込み後の読み込み整合性(strong read-after-write consistency)がサポートされました！すでにすべてのリージョンで利用可能になっています。 Amazon S3
![[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
The Next 50 Years of Databases // Blog // Andy Pavlo - Carnegie Mellon University
So I ended up doing what I promised myself I would not do. And that is be a professor who has a blog that they never update. I know that it's been a year since my last post and that I still need to write part 3 in my series on the open research problems for transaction processing database systems. A lot of has happened in the last year at CMU and I plan to discuss them here once the projects are m
building-software.md
building-software.md Some thoughts on building software Lately I have been busy reading some new books on Domain Driven Design (DDD) and software architecture -- including a short yet eye-opening one in Python and a great one in F#. At the same time, it seems that more people in the Functional Programming world are looking at more formal approaches to modelling -- some examples here. This has brou
【感想】『データ指向アプリケーションデザイン』：深遠なる分散データの新大陸への旅 - Rのつく財団入り口
読破した分厚いオライリー本の感想記事です。本書ではCPUの速度がボトルネックになるようなものは演算指向アプリケーションと区別し、データの量や複雑さ、変化の速度が主題となるシステムを「データ指向」と位置づけて、特定技術に幅を狭めずに包括的に解説した本となっています。 著者はイギリス、ケンブリッジ大学の分散システムの研究者 Martin Kleppmann氏。監訳者が斉藤太郎氏、訳者は玉川竜司氏。 タイトルの『データ指向アプリケーションデザイン』の原題は Designing Data-Intensive Applications。よく使われる「オブジェクト指向」の原語は Object-Oriented ですが、本書の「指向」は Intensive で若干ニュアンスが違います。たまに見るデータ駆動、データドリブンなどともちょっと違いますね。 Intensive単体の意味は強い、激しい、徹底的、集
Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて解説した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi
AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO
IAM ポリシーを変更するとそれが伝播するまで待つ必要があります。IAM ポリシーはそのままにして、セッションでのみ有効なセッションポリシーを変更しながら使えばその影響を回避できます。 IAM リソース変更の即時反映を期待してはだめ コンバンハ、千葉（幸）です。 AWS IAM は結果整合性が採用されています。 *1 言い換えれば、変更が即時に反映されることは保証されていません。例えば以下の操作を行ったとします。 IAM ユーザー A に唯一アタッチされた IAM ポリシー P に、EC2 操作を許可する権限を追加する IAM ユーザー A の認証情報を利用して EC2 の操作を行う このとき無条件に 2 が成功することを期待したくなりますが、1 からの実行間隔が短いと失敗することもあります。最終的には結果整合性により「成功する」に収束しますが、数秒なり数分間なりは 1 の変更前の権限で評
どうも、記事としては久しぶりの投稿になります。 極度妄想(しなさい)です。 今日は、BitcoinやEthereumのヘビーユーザーなら誰でも苦しむ手数料を解決すると期待されるLayer２について、まとまった情報を提供したいと思います。 この記事を要約すると次の通りです。 ・BitcoinとEthreumではL1の設計思想や目標の違いがL2にもそのまま残っている。Bitcoinはプライバシー重視のP2P取引、Ethereumはスマートコントラクトの利便性最大化。 ・Lightning Networkの仕組みは送金用途に限ると、Ethereum L2の送金よりもはるかにスケーラブルではあるが、Ethereum L2にはない問題がありうる ・Lightning Networkのコストとプライバシーは去年L1のアップデートでさらに改良された ・EthereumのLayer2 はEthereum
【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で！ | DevelopersIO
【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で！ こんにちは！コンサル部のテウです。 AWS Amplifyシリーズの5番目の記事です！今回は、List API と Search APIがそれぞれ異なるデータソースにQueryを実行ことによって生じる差について確認し、それぞれをどういった状況でどう使えるべきかについてお伝えします。 それでは始めます！ List は List、Search は Search じゃない？ 先ず、List と Search をなぜ比べているのか疑問を持たれた方々が多くいらっしゃるかと思います。当初、これらの用途はそれぞれ異なるのでしょう。ところで、Amplify が提供してくれる List API は、DynamoDB をデータソースとして用い、Search AP
MITの分散システムの講義 6.824: Distributed Systems が面白かった件 - Qiita
これは何？ 分散システム初学者が、MITの院生向け講義 6.824: Distributed Systems を一通りやってみたので、その内容をまとめる。 分散システムなる分野に入門したいと思った際の一つの選択肢として個人的にオススメできるコンテンツだったので、この場で広く推すために書いている。 Lab3で扱うRaftのアーキテクチャ図より引用1 きっかけ 元々のモチベーションとしては、お仕事周りでAurora2やDynamo3、EBS4といった文献に目を通す中で、そもそも根底にある分散システムという分野を全然知らない。俺たちは雰囲気でクラウドをやっている(画像略)5…という気分になったのがきっかけだった。 ちょうど年末の空き時間に分散システムのオススメコンテンツを探している中で、推されていたこのコンテンツに出会ったのが12月末。その後は仕事の後など空き時間にちまちまやって、結局Lab3ま
One of the problems we had to solve when we added multiplayer editing to Figma was supporting simultaneous editing of ordered sequences of objects. One of the problems we had to solve when we added multiplayer editing to Figma was supporting simultaneous editing of ordered sequences of objects. We have many compound object types in Figma (the document, groups, components, etc.) and each compound o
Amazon S3 delivers strong read-after-write consistency automatically for all applications, without changes to performance or availability, without sacrificing regional isolation for applications, and at no additional cost. With strong consistency, S3 simplifies the migration of on-premises analytics workloads by removing the need to make changes to applications, and reduces costs by removing the n
AWS News Blog Happy 10th Birthday, DynamoDB! 🎉🎂🎁 On January 18th 2012, Jeff and Werner announced the general availability of Amazon DynamoDB, a fully managed flexible NoSQL database service for single-digit millisecond performance at any scale. During the last 10 years, hundreds of thousands of customers have adopted DynamoDB. It regularly reaches new peaks of performance and scalability. For e
Cloud design patterns, architectures, and implementations - AWS Prescriptive Guidance
Cloud design patterns, architectures, and implementations Anitha Deenadayalan, Amazon Web Services (AWS) May 2024 (document history) This guide provides guidance for implementing commonly used modernization design patterns by using AWS services. An increasing number of modern applications are designed by using microservices architectures to achieve scalability, improve release velocity, reduce the
CSE 138: Distributed Systems
From the beginning of this year, I started to take lecture courses of undergrad distributed systems course at UC Santa Cruz (CSE 138) by Lindsey Kuper. It consists of 23 lectures (you can see the schedule of topics from here) and recently I’ve finished all of them. I’m not a student at UCSC but due to the COVID-19 situation, all these lectures were delivered online and are available on YouTube. So
FoundationDB: A Distributed Key-Value Store – Communications of the ACM
FoundationDB is an open-source transactional key-value store created more than 10 years ago. It is one of the first systems to combine the flexibility and scalability of NoSQL architectures with the power of ACID transactions. FoundationDB adopts an unbundled architecture that decouples an in-memory transaction management system, a distributed storage system, and a built-in distributed configurati
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
アプリケーション開発において重要なロックを掘り下げ、ORM における楽観的ロックの実現例を紹介する - Qiita
導入 アプリケーション開発においてデータを扱う時にロックを行うことはデータ保全性の観点から重要です。 一般的な話としてアプリケーションの「ロック」について掘り下げ、ロック方法の種類や DB のトランザクションとの関連性を紹介します。 ロックとは まず、ロックとはデータに対して読み書きの処理を同時に行うことを排除する仕組みです。 ロックを行わない場合、同じデータに対して複数の処理を実行すると、結果に整合性が取れなくなったりします。 例えば、商品カテゴリごとの売上の合計を計算する処理が実行されている間に、商品カテゴリが変更されると、商品カテゴリごとの売上の合計は総売り上げと違う値となってしまいます。 そこでロックを用いることで、一方の処理が完了するまでもう一方の処理の読み書きを禁止させることができ、結果の整合性を取ることが出来ます。 ロックを掘り下げる システムの「どのレベル」でロックを行うか
State at the edge
State at the edgeIn the von Neumann model of computer architectures, a computer is defined as the combination of a logic unit — commonly, a CPU — with some form of memory, taking input and providing output. You can view the Fastly edge cloud platform as a von Neumann computer, in a way: the input and output are HTTP requests and responses; the CPU is your service configuration expressed in VCL, ou
CQRS Software Architecture Pattern: The Good, the Bad, and the Ugly
Photo by Jukan Tateisi on UnsplashThe Command and Query Responsibility Segregation (CQRS) it’s an architectural pattern where the main focus is to separate the way of reading and writing data. This pattern uses two separate models: Queries — Which are responsible for reading dataCommands — Which are responsible for update dataIn a Nutshell - The Command and Query Responsibility Segregation (CQRS)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2020年現在のNewSQLについて - Qiita
マイクロサービス設計原則: SOLIDではなくIDEALS
リアクティブは難しいが役に立つ - kubell Creator's Note
Behind AWS S3’s Massive Scale
Microservice in Python using FastAPI
Data Movement in Netflix Studio via Data Mesh
Diving Deep on S3 Consistency
Why We Are Changing the License for Akka | @lightbend
世界一わかりやすいゼロ知識証明 Vol.1: A Gentle Primer on Ethereum
Welcome to Wildebeest: the Fediverse on Cloudflare
AWS CloudFormationの最近の変更点 - Qiita
FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
BitcoinとEthereumのLayer2の違いについて (LN/Rollup/RGB)
Realtime Editing of Ordered Sequences | Figma Blog
Amazon S3 | Strong Consistency | Amazon Web Services
Happy 10th Birthday, DynamoDB! 🎉🎂🎁 | Amazon Web Services
A Distributed Systems Reading List