Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
キーポイント For object-oriented design we follow the SOLID principles. For microservice design we propose developers follow the “IDEALS”: interface segregation, deployability (is on you), event-driven, availability over consistency, loose-coupling, and single responsibility. Interface segregation tells us that different types of clients (e.g., mobile apps, web apps, CLI programs) should be able to inte
RDBの限界とNoSQLの登場
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー
お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac
Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin
RDBの限界とNoSQLの登場 - Qiita
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html NoSQLの登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャーディング
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について - Qiita
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について AWSRDSnosqlDynamoDBAurora 初めに TwitterのDB界隈で少し話題になっていた特集の記事について、個人的に気になった指摘事項の一覧です。 記事自体は限られた紙面数で簡潔に読みやすくまとまっており、特にAurora/RDSについては要注意なポイントについてもまとめられていてわかりやすいものでした。 しかしながら、私知識と経験の範囲内での判断で、説明不足や技術的に誤解を招く表現等が見られたのでまとめてみます。 ※執筆者は普段の業務も忙しい中で限られた時間、紙面数で対象読者に向けて記事をまとめるので必死でしたでしょうし、どんな人でもどうしても経験や知識の範囲は限られてしまうことから、誰も
Deep Dive: NewSQL Databases
Overview One of my colleagues, @margo_hdb, recently posted a great article Database Architectures & Use Cases - Explained here on dev.to. In response a user asked for a deeper dive on NewSQL databases, so I thought I would put one together. The term NewSQL was coined in 2011 by 451 Group analyst Matthew Aslett. Wikipedia defines the term below: “ NewSQL is a class of relational database management
By Ammar Khaku IntroductionIn a microservice architecture such as Netflix’s, propagating datasets from a single source to multiple downstream destinations can be challenging. These datasets can represent anything from service configuration to the results of a batch job, are often needed in-memory to optimize access and must be updated as they change over time. One example displaying the need for d
Amazon S3のイベント通知は「稀に失われる」から「少なくとも1回配信」になっていました | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので
Creating Microservices with Python Introduction to Microservices Benefits of Microservice Drawbacks of Microservice Why Microservice in Python Introduction to FastAPI Why FastAPI Installing FastAPI Creating Simple REST API using FastAPI Using PostgreSQL Database with FastAPI Microservice Data Management Patterns Database Per Service Shared Database API Composition Creating a Python Microservice in
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
Today, we are announcing a change to Akka’s license model so that Akka can be a thriving project for many decades. I created Akka 13 years ago out of love for programming, distributed systems, learning new things, and open source. It’s been a fantastic journey so far (read about Akka’s inception and early days here). Today, Akka is exceptionally reliable, scalable, and performant. It is the runtim
圏論は数学の一分野です。これを学ぶのには「数学書」を手に取るのが王道なのですが、残念ながらこれは大部分のプログラマに理解できる言葉では書かれていません。「定義・命題・証明」の積み重ねで書かれています1。ここで大半のScalaプログラマは苦い顔をすると思います。もう少し分かりやすいScalaプログラマ向けの圏論入門がないかと探してみると「Haskell」向けの記事が大量に引っかかるでしょう。ここで多くのScalaプログラマは心を折られてしまいます。「圏論」はまだScalaプログラマには早すぎたんだと・・・ 本記事ではそんなあなたに贈る3つの文献をご紹介したいと思います。 (本記事は自分のブログからの転載記事です。) はじめに 本記事は圏論に興味があるScalaプログラマを対象にしています。特にプログラマにとって実用的な圏論の知識をScalaを通して身につけたい方にオススメします。 プログラマ
Welcome to Wildebeest: the Fediverse on Cloudflare02/08/2023 This post is also available in 简体中文 and 繁體中文. The Fediverse has been a hot topic of discussion lately, with thousands, if not millions, of new users creating accounts on platforms like Mastodon to either move entirely to "the other side" or experiment and learn about this new social network. Today we're introducing Wildebeest, an open-so
こんにちは、LINEヤフー株式会社でデータベース部門に所属している、今野です。現在は、先日LINEヤフー社内にて提供を開始したFractalDBの開発と運用を担当するチームに所属しています。 FractalDBは、LINEヤフーのオンプレミス環境に向け開発された、データベースプラットフォームです。この記事では、FractalDBの概要として、開発に至った背景や設計目標から、その特徴およびアーキテクチャの概要について紹介します。 また、LINEヤフーでは今夏のインターンシップを募集しています。FractalDBチームも募集してますので、ページの最後の紹介をぜひ確認してみてください。 FractalDBとは FractalDBは、LINEヤフーのオンプレミス環境に最適化されたデータベースプラットフォームとして開発されています。リレーショナルデータベースとNoSQLデータベースの利点を融合させた
Become part of a community passionate about building better apps. Introducing Ristretto: A High-Performance Go Cache This post made it to the top of Golang subreddit and is trending in top 10 on the front page of Hacker News. Do engage in discussion there and show us love by giving us a star. With over six months of research and development, we’re proud to announce the initial release of Ristretto
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO
はじめに 清水です。はじまっていますre:Invent 2020！すでにたくさんの新サービス登場やアップデート情報が発表されていますが、本エントリでお届けするのはこちら、オブジェクトストレージサービスであるAmazon S3で強い書き込み後の読み込み整合性(strong read-after-write consistency)がサポートされました！すでにすべてのリージョンで利用可能になっています。 Amazon S3 now delivers strong read-after-write consistency automatically for all applications Amazon S3 Update – Strong Read-After-Write Consistency | AWS News Blog Amazon S3 | Strong Consistency |
![[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
The Next 50 Years of Databases // Blog // Andy Pavlo - Carnegie Mellon University
Admin: Tracy Farbacher Office: GHC 9019 Office Hours: Wed @ 1:00-1:45pm Email: pavlo@cs.cmu.edu Twitter: @andy_pavlo Mastodon: @andy_pavlo GitHub: apavlo So I ended up doing what I promised myself I would not do. And that is be a professor who has a blog that they never update. I know that it's been a year since my last post and that I still need to write part 3 in my series on the open research p
We are happy to announce the open source release of Waltz. Waltz is a distributed write-ahead log. It was initially designed to be the ledger of money transactions on the WePay system and was generalized for broader use cases of distributed systems that require serializable consistency. Waltz is similar to existing log systems like Kafka in that it accepts/persists/propagates transaction data prod
building-software.md
building-software.md Some thoughts on building software Lately I have been busy reading some new books on Domain Driven Design (DDD) and software architecture -- including a short yet eye-opening one in Python and a great one in F#. At the same time, it seems that more people in the Functional Programming world are looking at more formal approaches to modelling -- some examples here. This has brou
【感想】『データ指向アプリケーションデザイン』：深遠なる分散データの新大陸への旅 - Rのつく財団入り口
読破した分厚いオライリー本の感想記事です。本書ではCPUの速度がボトルネックになるようなものは演算指向アプリケーションと区別し、データの量や複雑さ、変化の速度が主題となるシステムを「データ指向」と位置づけて、特定技術に幅を狭めずに包括的に解説した本となっています。 著者はイギリス、ケンブリッジ大学の分散システムの研究者 Martin Kleppmann氏。監訳者が斉藤太郎氏、訳者は玉川竜司氏。 タイトルの『データ指向アプリケーションデザイン』の原題は Designing Data-Intensive Applications。よく使われる「オブジェクト指向」の原語は Object-Oriented ですが、本書の「指向」は Intensive で若干ニュアンスが違います。たまに見るデータ駆動、データドリブンなどともちょっと違いますね。 Intensive単体の意味は強い、激しい、徹底的、集
Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて説明した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi
2019年7月9日、『神姫PROJECT』などソーシャルゲームの企画・開発を手がける株式会社テクロスが主催するイベント「TECH x GAME COLLEGE」が開催されました。第22回となる今回のテーマは「マイクリプトヒーローズの作り方」。double jump.tokyo株式会社CEO/CTOの上野広伸氏が、世界一のブロックチェーンゲーム『マイクリプトヒーローズ』の開発の舞台裏を明かします。前半パートとなる今回は、本作やブロックチェーンゲームの特徴について解説しました。講演資料はこちら マイクリプトヒーローズの作り方 上野広伸氏（以下、上野）：よろしくおねがいします。まずは自己紹介をさせていただきます。 私は『マイクリプトヒーローズ』を作っているdouble jump.tokyo株式会社のCEO兼CTOの上野広伸と申します。 double jump.tokyoは、2018年4月に設立さ
どうも、記事としては久しぶりの投稿になります。 極度妄想(しなさい)です。 今日は、BitcoinやEthereumのヘビーユーザーなら誰でも苦しむ手数料を解決すると期待されるLayer２について、まとまった情報を提供したいと思います。 この記事を要約すると次の通りです。 ・BitcoinとEthreumではL1の設計思想や目標の違いがL2にもそのまま残っている。Bitcoinはプライバシー重視のP2P取引、Ethereumはスマートコントラクトの利便性最大化。 ・Lightning Networkの仕組みは送金用途に限ると、Ethereum L2の送金よりもはるかにスケーラブルではあるが、Ethereum L2にはない問題がありうる ・Lightning Networkのコストとプライバシーは去年L1のアップデートでさらに改良された ・EthereumのLayer2 はEthereum
AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO
IAM ポリシーを変更するとそれが伝播するまで待つ必要があります。IAM ポリシーはそのままにして、セッションでのみ有効なセッションポリシーを変更しながら使えばその影響を回避できます。 IAM リソース変更の即時反映を期待してはだめ コンバンハ、千葉（幸）です。 AWS IAM は結果整合性が採用されています。 *1 言い換えれば、変更が即時に反映されることは保証されていません。例えば以下の操作を行ったとします。 IAM ユーザー A に唯一アタッチされた IAM ポリシー P に、EC2 操作を許可する権限を追加する IAM ユーザー A の認証情報を利用して EC2 の操作を行う このとき無条件に 2 が成功することを期待したくなりますが、1 からの実行間隔が短いと失敗することもあります。最終的には結果整合性により「成功する」に収束しますが、数秒なり数分間なりは 1 の変更前の権限で評
【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で！ | DevelopersIO
【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で！ こんにちは！コンサル部のテウです。 AWS Amplifyシリーズの5番目の記事です！今回は、List API と Search APIがそれぞれ異なるデータソースにQueryを実行ことによって生じる差について確認し、それぞれをどういった状況でどう使えるべきかについてお伝えします。 それでは始めます！ List は List、Search は Search じゃない？ 先ず、List と Search をなぜ比べているのか疑問を持たれた方々が多くいらっしゃるかと思います。当初、これらの用途はそれぞれ異なるのでしょう。ところで、Amplify が提供してくれる List API は、DynamoDB をデータソースとして用い、Search AP
MITの分散システムの講義 6.824: Distributed Systems が面白かった件 - Qiita
これは何？ 分散システム初学者が、MITの院生向け講義 6.824: Distributed Systems を一通りやってみたので、その内容をまとめる。 分散システムなる分野に入門したいと思った際の一つの選択肢として個人的にオススメできるコンテンツだったので、この場で広く推すために書いている。 Lab3で扱うRaftのアーキテクチャ図より引用1 きっかけ 元々のモチベーションとしては、お仕事周りでAurora2やDynamo3、EBS4といった文献に目を通す中で、そもそも根底にある分散システムという分野を全然知らない。俺たちは雰囲気でクラウドをやっている(画像略)5…という気分になったのがきっかけだった。 ちょうど年末の空き時間に分散システムのオススメコンテンツを探している中で、推されていたこのコンテンツに出会ったのが12月末。その後は仕事の後など空き時間にちまちまやって、結局Lab3ま
Amazon S3 delivers strong read-after-write consistency automatically for all applications, without changes to performance or availability, without sacrificing regional isolation for applications, and at no additional cost. With strong consistency, S3 simplifies the migration of on-premises analytics workloads by removing the need to make changes to applications, and reduces costs by removing the n
AWS News Blog Happy 10th Birthday, DynamoDB! 🎉🎂🎁 On January 18th 2012, Jeff and Werner announced the general availability of Amazon DynamoDB, a fully managed flexible NoSQL database service for single-digit millisecond performance at any scale. During the last 10 years, hundreds of thousands of customers have adopted DynamoDB. It regularly reaches new peaks of performance and scalability. For e
Cloud design patterns, architectures, and implementations - AWS Prescriptive Guidance
Cloud design patterns, architectures, and implementations Anitha Deenadayalan, Amazon Web Services (AWS) February 2024 (document history) This guide provides guidance for implementing commonly used modernization design patterns by using AWS services. An increasing number of modern applications are designed by using microservices architectures to achieve scalability, improve release velocity, reduc
FoundationDB: A Distributed Key-Value Store – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up FoundationDB is an open-source transactional key-value store created more than 10 years ago. It is one of the first systems to combine the flexibility and scalability of NoSQL architect
CSE 138: Distributed Systems
From the beginning of this year, I started to take lecture courses of undergrad distributed systems course at UC Santa Cruz (CSE 138) by Lindsey Kuper. It consists of 23 lectures (you can see the schedule of topics from here) and recently I’ve finished all of them. I’m not a student at UCSC but due to the COVID-19 situation, all these lectures were delivered online and are available on YouTube. So
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
State at the edge
State at the edgeIn the von Neumann model of computer architectures, a computer is defined as the combination of a logic unit — commonly, a CPU — with some form of memory, taking input and providing output. You can view the Fastly edge cloud platform as a von Neumann computer, in a way: the input and output are HTTP requests and responses; the CPU is your service configuration expressed in VCL, ou
One of the problems we had to solve when we added multiplayer editing to Figma was supporting simultaneous editing of ordered sequences of objects. One of the problems we had to solve when we added multiplayer editing to Figma was supporting simultaneous editing of ordered sequences of objects. We have many compound object types in Figma (the document, groups, components, etc.) and each compound o
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2020年現在のNewSQLについて - Qiita
マイクロサービス設計原則: SOLIDではなくIDEALS
リアクティブは難しいが役に立つ - Chatwork Creator's Note
How Netflix microservices tackle dataset pub-sub
Microservice in Python using FastAPI
Diving Deep on S3 Consistency
Data Movement in Netflix Studio via Data Mesh
Why We Are Changing the License for Akka | @lightbend
Scalaプログラマが圏論を学ぶためのオススメ文献 - 3選 - Qiita
Welcome to Wildebeest: the Fediverse on Cloudflare
FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介
Introducing Ristretto: A High-Performance Go Cache - Dgraph Blog
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
Waltz: A Distributed Write-Ahead Log
世界一のブロックチェーンゲーム『マイクリプトヒーローズ』ができるまで
BitcoinとEthereumのLayer2の違いについて (LN/Rollup/RGB)
Amazon S3 | Strong Consistency | Amazon Web Services
Happy 10th Birthday, DynamoDB! 🎉🎂🎁 | Amazon Web Services
A Distributed Systems Reading List
Realtime Editing of Ordered Sequences | Figma Blog