アーキテクチャ設計を勉強しよう みなさんこんにちは。NRIデジタルの松村です。夏も終わりが近づいてきて、少しずつ涼しくなってきましたね。季節の変わり目は風邪をひきやすいですよね。みなさまもご自愛ください。うちの子も、おもらしが増えてきました。危険ですね。 そうなんです。変わり目は注意が必要です。ということで、今回はシステムの「変わり目」として昔からある、ログローテーションを取り上げてみたいと思います（強引ですか？ 強引です！ いいんです！）。 なぜ今更ログローテーションなのか、という話ですが、ちゃんと理由があります。アーキテクチャ設計というのは、とかく大規模になりやすいです。前回のテーマであるマイクロサービスなどはその典型で、まじめに考えると、データベースの種類、分割から、チームや組織・会社の文化的側面まで数多くの要素を考えて設計／選定する必要があります。ただ、すでにプロフェッショナルなア
When Martin Fowler's post about microservices came out in 2014, the teams where I worked were already building service-oriented architectures. That post and the subsequent hype made their way into almost every software team in the world. The "Netflix OSS stack" was the coolest thing back then, allowing engineers worldwide to leverage Netflix's lessons in distributed systems. More than six years la
Go (Golang): Clean Architecture & Repositories vs Transactions
IntroductionGo (Golang) has been trending for quite some time now, and so has the combination of Clean Architecture and Repository pattern. Thus, it’s only natural that people would try to apply it to everyday scenarios and draw comparisons with other stacks and patterns from there. That said, this is not another post aimed to highlight the ins and outs of this particular choice for organizing Go
GitHub - MaterializeInc/materialize: The data warehouse for operational workloads.
Materialize is designed to help you interactively explore your streaming data, perform analytics against live relational data, or increase data freshness while reducing the load of your dashboard and monitoring tasks. The moment you need a refreshed answer, you can get it in milliseconds. It focuses on providing correct and consistent answers with minimal latency, and does not ask you to accept ei
Amazon S3 now delivers strong read-after-write consistency automatically for all applications
Amazon S3 now delivers strong read-after-write consistency automatically for all applications. Unlike other cloud providers, Amazon S3 delivers strong read-after-write consistency for any storage request, without changes to performance or availability, without sacrificing regional isolation for applications, and at no additional cost. Amazon S3 pioneered object storage in the cloud with high avail
はじめに 現職では Application は すべて Kubernetes 上で動いている。その場合、インターネットからの通信経路は以下のようになる。 Internet -> Reverse Proxy(Nginx) -> Service Router(Nginx) -> Kubernetes Service -> Pod で、後半の Service Router から先が Kubernetes Cluster となっている。Type: LoadBalancer で 受けたあと、forwarding して service-router と呼んでいる Nginx に飛ばしている。 現状、一部で Microservices が動いていたり、Distributed Monolith を Microservices に切ろうとしていたりするが、Service Router 以降の、Pod（App
アプリケーション開発において重要なロックを掘り下げ、ORM における楽観的ロックの実現例を紹介する - Qiita
導入 アプリケーション開発においてデータを扱う時にロックを行うことはデータ保全性の観点から重要です。 一般的な話としてアプリケーションの「ロック」について掘り下げ、ロック方法の種類や DB のトランザクションとの関連性を紹介します。 ロックとは まず、ロックとはデータに対して読み書きの処理を同時に行うことを排除する仕組みです。 ロックを行わない場合、同じデータに対して複数の処理を実行すると、結果に整合性が取れなくなったりします。 例えば、商品カテゴリごとの売上の合計を計算する処理が実行されている間に、商品カテゴリが変更されると、商品カテゴリごとの売上の合計は総売り上げと違う値となってしまいます。 そこでロックを用いることで、一方の処理が完了するまでもう一方の処理の読み書きを禁止させることができ、結果の整合性を取ることが出来ます。 ロックを掘り下げる システムの「どのレベル」でロックを行うか
増永教授のDB特論
1. はじめに ビュー（view）はリレーショナルデータベースの始祖コッド（E.F. Codd）がリレーショナルデータモデル[1]を世に問うてから 4 年後の 1974 年に彼自身により導入されました[2]．ビューは定義だけが存在し実体は伴わない仮想的なリレーションであるところがデータベースに格納されているリレーション，これを実リレーション（stored relation）という，と根本的に異なるところです． 続きを読む 1. はじめに ビッグデータの管理・運用で注目を浴びることとなった結果整合性（eventual consistency）ですが，賛否両論あるようです．否定的な意見は，たとえば，クレップマン（Martin Kleppmann）[1]の 著作に見ることができます．この著作，結構多くの方々がお持ちかと思いますが，クレップマンは複 製を行うデータベースのほとんどは，少なくとも結果
執筆に際して、フィードバックとレビューをしてくださった堤隆道さんに感謝します。 Special thanks to Takamichi Tsutsumi for feedback and review. 1. はじめに 「すべて偉大なものは単純である。」 『音と言葉』・フルトヴェングラー 日本語で書かれた技術系記事の課題 トピックに限らず、日本語で特定の技術に関して検索をかけると、検索結果が英語での検索に比べて圧倒的に少ないことに加えて、検索結果の99%は以下のいずれかに該当することがわかるでしょう。 幅広い読者層を意識するあまり、解説が表面的すぎる 解説自体は詳しいが、数学や技術に偏りすぎていて、読者層が限定される 海外の有名な記事の直訳 検索結果の絶対量については、テクノロジー分野が英語圏を中心として発展してきたことに起因するため、日本語化に至るまでに多少のタイムラグがあるのは仕方がな
AWSの2大データベースであるRDSとDynamoDB、シンプルに初心者向けに何が違うのか、違いが簡単にわかるような説明を考えてみます。 はじめに 初めてAWSのアーキテクチャーを考えるときに、最近ではサーバーレスな設計がごろごろ落ちているため、初めてシステム設計をする場合でも、NoSQLデータベースである、DynamoDBを使ったシステム構成が描けてしまいます。私が駆け出しのころは、Oracleまっさかりで、RDBを使ったシステム構成しか描けなかったものです。あらためて今回CAP定理という言葉をつかって初心者向けに比較してみたいと思います。 CAP定理 と ACID と BASE を知っておこう 分散コンピューティングの考え方として、CAP定理、ACID、BASEを整理してみます。データベースを比較するときにかならず取り上げられる特徴になります。なかなか理解できませんが絵のように頭に焼き
Modern Application Development on AWS Cloud-Native Modern Application Development and Design Patterns on AWS October 2019 This paper has been archived. For the latest techincal guidance on the AWS Cloud, see the AWS Whitepapers & Guides page: https://aws.amazon.com/whitepapers/ Archived Notices Customers are responsible for making their own independent assessment of the information in this documen
An In-Depth Analysis of Distributed Transaction Solutions
This article summarizes five distributed transaction solutions and analyzes their features. By Daosu This article summarizes five distributed transaction solutions and analyzes their features: XA Specification, TCC, Saga, Local-Message-Based Distributed Transactions, and Transactional-Message-Based Distributed Transactions. Considering its length, I recommend that you add it to your favorites and
Building globally distributed MySQL applications using write forwarding in Amazon Aurora Global Database | Amazon Web Services
AWS Database Blog Building globally distributed MySQL applications using write forwarding in Amazon Aurora Global Database AWS released Amazon Aurora Global Database in 2018. Aurora Global Database enables two primary use cases. The first use case is supporting a disaster recovery solution that can handle a full regional failure with a low recovery point objective (RPO) and a low recovery time obj
The sad state of property-based testing libraries Posted on Jul 2, 2024 Property-based testing is a rare example of academic research that has made it to the mainstream in less than 30 years. Under the slogan “don’t write tests, generate them” property-based testing has gained support from a diverse group of programming language communities. In fact, the Wikipedia page of the original property-bas
Comparing design approaches for building serverless microservices | Amazon Web Services
AWS Compute Blog Comparing design approaches for building serverless microservices This post is written by Luca Mezzalira, Principal SA, and Matt Diamond, Principal, SA. Designing a workload with AWS Lambda creates questions for developers due to the modularity that can be expressed either at the code or infrastructure level. Using serverless for running code requires additional planning to extrac
S3 is files, but not a filesystem March 2024 "Deep" modules, mismatched interfaces - and why SAP is so painful My very own "object store" Amazon S3 is the original cloud technology: it came out in 2006. "Objects" were popular at the time and S3 was labelled an "object store", but everyone really knows that S3 is for files. S3 is a cloud filesystem, not an object-whatever. I think the idea that S3
「このブログはほぼ毎日更新しているという体裁だが、実際はリアルタイムに更新できていない、ある意味毎日更新という結果整合性だけが伴っている。」という話なんだけど、結果整合性ってなんだっけ、というのまっさらな話からざっくり理解するためのメモ 言葉の意味 分散データベースの文脈で使われることが多く、データの更新の一貫性を即時担保するものではなく、更新後に一定時間経過していれば正しく更新データを取得できるという整合性の考え方 英語を直訳すると『最終的な一貫性』となり、和訳では『結果整合性』という訳が当てられ、2つの意味を統合すると直感的にわかりすい。 解説 言葉としては分散システムで使われる事が多い。分散システムでは同一のデータを複数のコンピュータやシステムに分散して配置し、データそのものも複製して配置する。単一のシステムであればDBも単一なので問題ないが、分散化することによりDBも複製して配置す
Author Mark Richards walks you through the 10 most common microservice anti-patterns and pitfalls, and provides solutions for avoiding them. Preface In late 2006 service-oriented architecture (SOA) was all the craze. Companies were jumping on the bandwagon and embracing SOA before fully understanding the advantages and disadvantages of this very complex architecture style. Those companies that emb
NoSQL Database Interview Questions for Experienced Candidates
Here is a list of common NoSQL interview questions with detailed answers for experienced NoSQL Database professionals. Through advanced queries about architecture, optimization, and real-world problem-solving in NoSQL environments, such interviews aim to gauge the candidate’s ability to understand the complexities of NoSQL databases in scalable, high-performance applications. In such interviews, o
4年前の下書きが出てきたので、供養のために置いておきます。 SpringOne Platform 2016のKeynoteとSessionを、特にProject Reactor周りについて確認した。 https://www.youtube.com/watch?v=Xm-KjMY_Z_w http://www.slideshare.net/SpringCentral/going-reactive-building-better-microservices-rob-harrop http://www.slideshare.net/SpringCentral/data-microservices-in-the-cloud http://www.slideshare.net/SpringCentral/designing-implementing-and-using-reactive-apis h
nikezono.dev
この記事は データベース・システム系 Advent Calendar 2023 (opens in a new tab) の16日目の記事です． 深い意味はない この記事はポエムです．また，Redbookの6章 (opens in a new tab) や Peter Bailis のブログ (opens in a new tab) がほぼ同じ話をしているので，この記事を読むよりこちらを読まれたほうがより深い理解が得られます． TL;DR; Serializableという概念は便利．しかし，使われていない Serializableでなくとも要件が満たされるシステムが世の中には多い ワークロードによってはそもそも Weak Consistency でも Serializable と等価 それでも，Weak Consistency と Serializable の差分の定式化（すなわち，Ano
How we built a general purpose key value store for Facebook with ZippyDB
How we built a general purpose key value store for Facebook with ZippyDB ZippyDB is the largest strongly consistent, geographically distributed key-value store at Facebook. Since we first deployed ZippyDB in 2013, this key-value store has expanded rapidly, and today, ZippyDB serves a number of use cases, ranging from metadata for a distributed filesystem, counting events for both internal and exte
re:Invent 2020 Liveblog: Werner Vogels Keynote | Amazon Web Services
AWS News Blog re:Invent 2020 Liveblog: Werner Vogels Keynote Thanks for joining us as Jeff Barr, Martin Beeby, Steve Roberts and Channy Yun liveblogged Dr. Werner Vogels’ Keynote, where he shared how Amazon is solving today’s hardest technology problems. See the recap below. And if you missed them, be sure to check out our re:Invent 2020 liveblog recaps for Andy Jassy’s Keynote, the Partner Keynot
増永教授のDB特論⑪「結果整合性」
1. はじめに ビッグデータの管理・運用で注目を浴びることとなった結果整合性（eventual consistency）ですが，賛否両論あるようです．否定的な意見は，たとえば，クレップマン（Martin Kleppmann）[1]の 著作に見ることができます．この著作，結構多くの方々がお持ちかと思いますが，クレップマンは複 製を行うデータベースのほとんどは，少なくとも結果整合性を提供しているとしながらも，これは非 常に弱い保障であり，複製がいつ（最終値に）収束するのかについては何も語られていなく，収束す るときまで，読取りの結果が何になるのか，あるいはそもそも何も返さないのかは分からない，とク レームしています．さらに，CAP 定理の対象範囲は非常に狭く，考慮しているのは 1 つの一貫性モ デルと 1 種類のフォールト（つまり，ネットワーク分断）だけで，ネットワークの遅延，落ちている ノー
Mark Richards, Neal Ford 著, 島田 浩二 訳ソフトウェアアーキテクチャの基礎 Fundamentals of Software Architecture 日本語版は紙、英語版はKindleで読みました。Kindle版は図がカラーで見れます。 本書を読んだ感想を書いていきます。 Chapter 1. IntroductionSoftware ArchitectureとはSoftware Architectureの定義が業界でよく定まっているわけではないところから話が始まります。 その理由として、Microserviceような新しいArchitectの台頭によってsoftware architectの役割が拡大していることが挙げられています。 また、本書はsoftware architectを一度作ればその後は変更の対象にならない静的なものではなく常に漸進的に変化して
From January 2023, TinyMCE no longer offers Real-Time Collaboration (RTC) for new customers. For Existing customers, we'll be in contact to discuss options. Please reach out to your Account Manager if you are a customer using RTC, and you have any questions about the plugin. This is the first in a series of blog posts documenting the TinyMCE RTC journey and decisions along the way. Next post: Coll
Lightbend Academy (Cognitive Class) の Reactive Architecture（リアクティブ・アーキテクチャ）学習ノート - Qiita
Lightbend Academy (Cognitive Class) の Reactive Architecture（リアクティブ・アーキテクチャ）学習ノートAkkalagomReactiveSystemReactiveArchitectureLightbend Lightbend Academy で Reactive Architecture（リアクティブ・アーキテクチャ）について学んだ内容をメモっとく。どうやら同じコースが Cognitive Class でも公開されているみたいなので、Lightbend Academy 無料期間に受講できなかった人はこちらをどうぞ。 本稿は、個人的に思い出すために書き留めているノートなので、言葉の正しさは保証できない。どんな内容がコースに含まれているかを俯瞰するにはいいかと思う。 コースの3つ目まではノートを書いてなかったので、気が向いたら時間のあ
週刊AWS – 2020/11/30週 (re:Invent 特別編集号) | Amazon Web Services
Amazon Web Services ブログ 週刊AWS – 2020/11/30週 (re:Invent 特別編集号) みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 先週からAWSの年次イベント AWS re:Invent 2020 が開催になりましたね。今回はオンライン開催、無料で参加可能、かつ3週間に渡っての開催と初の試みが多いre:Inventになっています。去年と同様、re:Invent期間中は特別編集号とさせていただき、筆者らが独断と偏見でピックアップした重要アイテムを紹介する形でお送りします。今号はKeynote (Andy Jassy)で発表されたものを中心にピックアップしてご紹介します。 それでは、先週の主なアップデートについて振り返っていきましょう。 2020年11月30日週の主要なアップデート – re:Inven
Abstraction Actor Model Architecture AI Algorithms Anti Patterns Architectural Design Principles Architecture Decision Records (ADR) Azure Cloud Back Pressure Caching Clean Architecture Clean Code Cloud Best Practices Cloud Design Patterns Cloud Native Code Review Concurrency CQRS Data Driven Design Design Best Practices Design Patterns DevOps Distributed Locking Distributed Transactions & Saga Do
It’s 2020. If I must tell you what Microservices are, this is probably not for you and feel free to spare your precious few minutes elsewhere. But if you’re that person who is overwhelmed with the success stories of microservices, and compelled to get your hands dirty with the ‘panacea’; read on. Let me have the pleasure of disappointing you as well, but in a couple of minutes. Though the thought
Preparing for a job interview in the NoSQL database domain involves understanding a range of concepts from the basics of NoSQL databases to more complex querying and database design. Here’s a mix of 17 fundamental and intermediate questions that are suitable for freshers applying for positions involving NoSQL databases. These questions cover a broad spectrum of topics relevant to NoSQL technologie
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログとファイルとローテーションと ～アーキテクトコラム～ | TECH | NRI Digital
Disasters I've seen in a microservices world
Service 間通信を Envoy 経由で行い、Metrics を取得する - ツナワタリマイライフ
世界一わかりやすいゼロ知識証明 Vol.1: A Gentle Primer on Ethereum
RDSとDynamoDBをCAP定理、ACID、BASEを使って整理する - Qiita
ARCHIVED: Modern Application Development on AWS
The sad state of property-based testing libraries
S3 is files, but not a filesystem
ざっくり知る「結果整合性（Eventual Consistency）」 - コード日進月歩
Microservices antipatterns and pitfalls
マイクロサービス時代のアプリケーションサーバ実装について - Kengo's blog
📗 ソフトウェアアーキテクチャの基礎を読んだ感想 | Happy developing
Building real-time collaboration applications: OT vs CRDT
Awesome Software Architecture
STOP!! You don’t need Microservices.
NoSQL Database Interview Questions for Freshers