W3C、中央集権的な管理を不要にする「Decentralized Identifiers (DIDs)」(分散型識別子)の仕様が勧告に到達 World Wide Web Consortium (W3C)は、「Decentralized Identifiers (DIDs) 」(分散型識別子)バージョン1.0(以下、W3C DID)の仕様が勧告に到達したと発表しました。 W3C press release: "Decentralized Identifiers (DIDs) v1.0 becomes a W3C Recommendation" "This new type of verifiable identifier... will enable both individuals and organizations to take greater control of their onl
Amazon Web Services(AWS)は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高いスケーラビリティ、複数のリージョンによる冗長構成による高可用性の両方を実現するだけでなく、分散データベースにおいてトランザクション処理による強い一貫性を実現する際の弱点とされていたレイテンシの大きさを克服し、小さなレイテンシによる高速性も兼ね備えたPostgreSQL互換のデータベースだと説明されています。 分散データベースの弱点はレイテンシの増大 一般に分散データベースは、複数のデータベースのノードが分散してリ
分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要 WebAssemblyランタイム「Wasmer」の開発元であるWasmer社は、エッジロケーション上のデータセンターにWebAssemblyランタイムを展開し、分散モノリスなアーキテクチャを用いたサーバレス型の新しいアプリケーションプラットフォーム「Wasmer Edge」を発表しました。 The Cloud is dead, long live the Cloud! Announcing Wasmer Edgehttps://t.co/VjGsbMwopy pic.twitter.com/5mTtKBBjsZ — Wasmer (@wasmerio) June 15, 2023 上記のツイートに示されているように、Wasmer E
こんにちは。SRE/データストアチーム の飯塚です。 私たちのチームではデータベースを代理で操作したり情報を取得したりするサービスをいくつか作り、それをプロダクトチームが利用できるように gRPC 経由で提供しています。ところで、ある日突然「分散トレーシングを活用していくことになったので、あなたのチームのサービスも対応させてください」とお願いされたらどうすればよいでしょうか?私はこれまでにいろいろなカンファレンスで分散トレーシングや OpenTelemetry についての講演を聞いていたので、理念は理解した、便利そうだ、導入してみたい、と思ったことは何度かありました。しかし実際に導入しようとして SDK のドキュメントを開いてみると、理解しなければいけない(ように見える)概念や、使い方をマスターしないといけない(ように見える)API の数に圧倒されてしまい、後回しにしてしまっていました。
この記事は hacomono Advent Calendar 2025 の12日目の記事です。 基盤本部で今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。 今年はマイクロサービス化に向けての社内共通のイベントバスの設計や基盤周りの設計/実装を行っていました。 以前にはこのような記事を書き、分散システムや分散データベース、分散ストレージなどが大好きです。 「Goで作って理解するRaftベースRedis互換KVS」という同人誌も書いています。 もし興味のある方はお手にとってみてください。 はじめに 今回は「クラウドネイティブデータベース」と言われる、昨今のデータベースにおけるコンピューティングとストレージの分離について、どのような動機でこの構成になったのか、利用者としてどのようなメリットがあるのか、そしてトレードオフは何かということについて記事を書かせていただ
この記事は hacomono advent calendar 2024 の18日目の記事です 今年9月にhacomonoにJOINし、基盤本部というところで今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。分散システムが好きです。 hacomonoも昨今のWebサービスの例にもれず、分散システム化しています。 そしてより高い可用性と低い運用コストを目指して新たなアーキテクチャの検討をしています。 今回はその取り組みのなかで、分散システムに関わる難しさというテーマで一貫した時刻の取り扱いの話で記事を書きます。 はじめに 昨今のWebをはじめとしたサービスは一つのサーバーで完結することが少なくなりました。 一つのアプリケーションを複数のサーバーやコンテナで、そして異なるサービスのシステムを組み合わせて「分散システム」として構築されています。 それは可用性や負荷分
October 1, 2021Web3 — A vision for a decentralized web By reading this, you are a participant of the web. It's amazing that we can write this blog and have it appear to you without operating a server or writing a line of code. In general, the web of today empowers us to participate more than we could at any point in the past. Last year, we mentioned the next phase of the Internet would be always o
Amazon produces and delivers to customers world-class entertainment via Prime Video, Amazon MGM Studios, MGM+, Amazon Music, Audible, Wondery, Amazon Games, and Twitch. Amazon’s entertainment properties empower millions of customers around the world to enjoy a massive selection of the very best in movies, series, live events, sports, music, books, and podcasts. Everything you need to know about Pr
re:Invent2022 4日目、Dr. Werner Vogelsのキーノートにおいて、「The Distributed Computing Manifesto」というドキュメントがNew Articleとして紹介されました。 The Distributed Computing Manifesto | All Things Distributed Amazonという超巨大なサービスが、モノリスの状態からその時まさに分散コンピューティングを推進していく転換点における考え方を示した貴重なドキュメントになっており、また、Werner自身も言うように、今後のAWSの進化の方向性を示唆する内容にもなっています。 まさにそんな雰囲気。 文書の位置づけ こちらのサイトに追加されたドキュメントという位置づけです。 このサイトは、Amazon.comのCTOを長年務めるWernerが、貢献した論文や記事
The Patterns of Scalable, Reliable, and Performant Large-Scale Systems View the Project on GitHub View On GitHub An updated and organized reading list for illustrating the patterns of scalable, reliable, and performant large-scale systems. Concepts are explained in the articles of prominent engineers and credible references. Case studies are taken from battle-tested systems that serve millions to
Platform Team/Repro Core Unit の村上です。 Repro では Kafka を基盤としたストリーム処理のアプリケーションを構築する際に、Kafka Streams を積極的に活用しています。 Kafka Streams は、フォールトトレラントなステートフル処理を簡潔に実装でき、データパイプラインを Topology という表現で抽象化することで、複雑な処理でも管理しやすい形で組み立てていくことが可能です。 また、Apache Kafka 以外の外部依存がないことや Streams DSL によるシンプルな記述でストリーム処理を実装できることなども、ストリーム処理のアプリケーションをスムーズに構築する上で助かっています。 一方で、 なにかしらの問題が発生したときのトラブルシューティングや影響範囲調査の際には、Kafka Streams の内部処理を把握していない
Denoの分散ホスティング「Deno Deploy」ベータ2公開。FiIe System API追加、クラッシュレポートなど Node.jsの作者であるライアン・ダール(Ryan Dahl)氏が新たに立ち上げた企業「Deno Company」は、サーバサイドでJavaScript/TypeScriptを実行するためのオープンソースのフレームワーク「Deno」と、その分散ホスティングである「Deno Deploy」を提供しています。 Denoは、ライアン・ダール氏がNode.jsを開発した経験を活かし、より優れたサーバサイドのJavaScriptランタイムとして新たに開発しているものです。V8 JavaScriptエンジンをベースにしており、JavaScriptだけでなく、TypeScriptとWebAssembly(WASM)にも対応します。 Deno Deployは、その名前の通りDen
こんにちは!Mackerel CREチームでカスタマーサクセスマネージャー(CSM)をやっているid:chizniiです。 Mackerel は2024年9月17日で正式リリースから10周年を迎えます。今後はオブザーバビリティ分野にも力を入れ、始めやすくて奥深いオブザーバビリティプラットフォームとして進化していきます。これからのMackerelがどのように変わっていくのか、何を目指していくのかについてぜひお伝えしたいと考え、2024年10月22日(火)に、オブザーバビリティをテーマとした技術イベントを開催する運びとなりました。 mackerelio.connpass.com イベントの開催を記念して、今回は新しくMackerelで利用できるようになった、分散トレーシングサービス Vaxila(ヴァキシラ)について、開発を行っている Mackerel チームエンジニアの id:mrasu、i
この記事は、負荷テスト初学者向けの記事の第 1 回として『負荷テストとは?』『AWS上での負荷テストの方法』を解説しています。 次回の記事以降にて、「 Distributed Load Testing on AWS 」を利用して実際に負荷テストを実施するまでの試験計画〜実施までの流れを解説します。 こんにちは!エンタープライズクラウド部クラウドコンサルティング課の日高です。 もし私のことを少しでも知りたいと思っていただけるなら、私の後輩が書いてくれた以下のブログを覗いてみてください。 sabawaku.serverworks.co.jp はじめに 負荷テストの基礎 負荷テストとは何か 処理量(スループット) 処理時間(レスポンスタイム) Tips: レスポンスタイムを平均値ではなく統計的に見る理由 なぜ実施するのか 定義 負荷テストの進め方 全体像 試験計画 試験準備 試験実施 結果評価
GitDB is not a binary. It’s a library! GitDB is a decentralized document database written in Go that uses Git under the hood to provide database-like functionalities via strictly defined interfaces. GitDB allows developers to create Models of objects in their application which implement a Model Interface that can access it's persistence features. This allows GitDB to work with these objects in dat
The latest news from Google on open source releases, major projects, events, and outreach programs for early career developers. We are excited to introduce Service Weaver, an open source framework for building and deploying distributed applications. Service Weaver allows you to write your application as a modular monolith and deploy it as a set of microservices. More concretely, Service Weaver con
BlogEvery System is a Log: Avoiding coordination in distributed applications Building resilient distributed applications remains a tough challenge. It should be possible to focus almost entirely on the business logic and the complexity inherent to the domain. Instead, you need to review line-by-line and check: “what if the service crashes here?”, “what if the API we call here is temporarily unavai
国産クラウドの一角である「ニフクラ」が不正アクセスを受けた。対象となったのは負荷分散装置で、既知の脆弱性を悪用された。負荷分散装置を通過する通信パケットが窃取された恐れがある。脆弱性の公開からパッチ適用まで1週間かかった隙を突かれた。ネットワーク防御装置にも設定不備があり、攻撃を許した。 富士通子会社の富士通クラウドテクノロジーズは2022年5月16日、運営するパブリッククラウドサービス「ニフクラ」と「FJcloud-V」の通信インフラがサイバー攻撃を受けたと発表した。ニフクラは自社で販売展開するサービスで、FJcloud-Vは富士通を販路とした際のブランド名だ。 富士通クラウドテクノロジーズによると、インターネットからニフクラのクラウド基盤へのアクセスを中継するロードバランサー(負荷分散装置)が、第三者により外部から不正アクセスされていた。原因は、ロードバランサーのベンダーが5月4日に把
AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に オラクルは、AWS上でMySQLベースの分散インメモリデータベース「MySQL HeatWave」をマネージドサービスとして提供を開始したと発表しました(日本オラクルのプレスリリース)。 [Press Release] Oracle Announces MySQL HeatWave on AWS. Transaction processing Real-time analytics Machine learning#AWS users can run it all in one service with @MySQL Read more:https://t.co/ustPKBJTPC pic.twitter.com/N47dNjumdZ — MySQL (
ブロックチェーンやいわゆる「Web3.0(Web3)」、はたまたジャック・ドーシー氏が提唱する「Web5」まで、非中央集権をうたう様々な概念が乱立している。そのいずれにおいても重要な機能として語られることが多いのが、ユーザー自らIDや属性を管理できる分散ID (Decentralized Identity)であり、その主要要素とされる分散識別子(Decentralized Identifier、DID)である。 政府や大手企業に頼らず誰もが自身のIDを持てるという自己主権(Self-Sovereigen)IDとともに語られることが多いDIDだが、ブロックチェーンの登場とともに突然出てきたわけではない。その背景には少なくとも20年にわたる歴史がある。本稿ではその歴史をたどることにより、DIDの何が新しいか、また、DIDに何が欠けているか、そして今後の展望を考察する。 DIDとは何か DIDは
Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実 Cloudflareは、同社のCDNネットワーク基盤上でメッセージキューを提供するサービス「Cloudflare Queues」のベータ公開を発表しました。 Message queues are a fundamental building block of cloud applications—and today the Cloudflare Queues open beta brings queues to every developer building for Region: Earth. https://t.co/QaIWdDFdMc #DeveloperWeek — Cloudf
概要 マイクロサービスでは、移行する際にシステム移行に伴うDBの分解が発生した場合に、分散トランザクションは推奨していません。参照: マイクロサービスに移行した際の分散トランザクションの危険性 簡単に説明するなら分散トランザクションは、不具合となる危険性がある為です。 そのため、マイクロサービスで複数のリソースの結果整合性を利用する方法として、Sagaパターンがあります。 Sagaパターンとは Sagaパターンとは、結果整合性を使ったアーキテクチャの1つであり、複数の状態変更を調整できリソースを長時間ロックすることがないよう設計されたアーキテクチャパターンです。「Sagaの元々のアイデアは、Hector Garcia MolinaとKenneth Salemによって発表された論文から生まれました。」 もう少し詳しく説明すると、結果整合性を担保したい範囲を1つのローカルトランザクション(擬似
[速報]Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21 Googleは、Google Cloudの能力をオンプレミスやエッジロケーションにまで拡大して提供する「Google Distribute Cloud」として、 「Google Distribute Cloud Edge」と「Google Distributed Cloud Hosted」を発表しました。 日本時間で13日未明に開幕する同社のオンラインイベント「Google Cloud Next '21」で詳細が説明される予定です。 Google Distributed Cloud Hostedは、オンプレミスのデータセンターに置いたサーバ上でGoogle Cloudが提供しているデータベースや機械学習、コンテナ管
AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi
The Distributed Computing ManifestoNovember 16, 2022 • 3941 words Today, I am publishing the Distributed Computing Manifesto, a canonical document from the early days of Amazon that transformed the architecture of Amazon’s ecommerce platform. It highlights the challenges we were facing at the end of the 20th century, and hints at where we were headed. When it comes to the ecommerce side of Amazon,
本書は、Go言語で分散サービスを構築する方法を解説する書籍です。分散サービスの概要と基本を解説し、設計、開発、およびデプロイする方法をコードを使ってハンズオン形式で学びます。はじめに、ストレージレイヤの構築とデータ構造の定義を行い、gRPCを用いてAPIを定義したサービスをネットワーク上で動作させる方法を説明します。そしてサービスを分散させて、可用性、耐障害性、拡張性を実現する方法を解説し、本番環境のKubernetesへデプロイする方法を学びます。 [本書の正誤表] 本書への推薦の言葉 はじめに 第I部 さあ始めましょう 1章 レッツGo 1.1 HTTPベースのJSONサービスの分散システムへの適合性 1.2 プロジェクトの準備 1.3 コミットログのプロトタイプの作成 1.4 HTTPベースのJSONサーバの構築 1.5 サーバの実行 1.6 APIのテスト 1.7 学んだこと 2章
Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料 サーバサイドやエッジでのJavaScriptランタイムを提供するDenoは、JavaScript/TypeScript用のデータストアである「Deno KV」を、同社の分散ホスティング環境であるDeno Deploy上でオープンベータとして公開したことを発表しました。 DenoはもともとNode.jsよりも優れたJavaScript/TypeScriptランタイム実現する目的で開発されたため、データストアの機能は備えていません。 そのため、Denoでアプリケーションを開発し実行する際には、データを保存するためのデータベースをユーザーが用意する必要がありました。 そこで、今年(2023年)5月に、Denoに統合されたデータストアとして
本記事は、PodのAZ分散を実現するPod Topology Spread ConstraintsとDeschedulerについて紹介します。 また、それぞれの課題とその解決方法について書きます。 Kubernetesについて基本的な用語がわかる方であれば読める内容になっているかと思います。 Pod Topology Spread Constraintsとは? Pod Topology Spread Constraintsを使うことで、Region・Zone・Nodeなどの単位でPodを分散して配置することが可能になります。 例えば、1つのZoneにNodeが2台とPodが1台ずつ配置されているとします。 AZ障害が発生し、Nodeがダウンすると1つのZoneにPodが集中していた場合のサービス影響は大きくなります。 しかし、2台のPodが異なるZoneに配置されていた場合、サービス影響は
2021年11月17〜19日にオンラインで開催された「DB TECH SHOWCASE」にて、分散データベース「YugabyteDB」が紹されていたので、レポートしたいと思います。 YugabyteDBは、Google Spannerに着想を得て開発されたトランザクションやクラウドネイティブアプリケーションのための分散SQLデータベースです。インタフェースはPostgreSQL及びCasaandra互換で、分散ということで水平方向へのスケーリングが得意なだけではなく、トランザクションも担保できるようになっています。また、ノード数が増えても高可用性を維持し、問題発生時の回復力も充実しています。グローバルでも採用事例が増えてきているそうです。 YugabyteDBの3人の設立者は、RDBMS分野、特にOracle DBの技術者としての実績をもとに、Facebookでスケールするデータプラットフ
Web技術の標準化団体であるWorld Wide Web Consortium(W3C)は2022年7月19日、分散IDの規格「Decentralized Identifiers(DIDs)」を標準規格として勧告した。これまでWebサービスで利用者を認証するには中央集権型のIDP(IDentity Provider)が必要だった。分散IDにより、利用者もサービス事業者もオンラインにおけるID情報の管理をコントロールできるようになるという。 携帯電話の電話番号や電子メールのアドレスは認証IDによく使われ、一見利用者が所有しているように見える。しかしMNP(モバイルナンバーポータビリティー)が実現されるまで、携帯電話番号はキャリアを変えると変更を余儀なくされた。また電子メールのアドレスも、個人が契約するISP(インターネットサービス事業者)を変えると変更が必要になる。これがこれまでの中央集権型
ATE is a distributed immutable data store and built in memory based materialized view with strong encryption and authentication. What does that mean? This library is a way of working with data in modern distributed computing. ...data is persisted to a distributed commit log. ...partitions are divided into chains that shard data into physical domains. ...streaming of data to the application occurs
Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合 Google Cloudは、これまで同社のハイブリッドクラウド戦略を実現する製品としてオンプレミス用に提供してきた「Anthos on-premises」の製品名を「Google Distributed Cloud Virtual」(GDC Virtual)に変更し、Google Distributed Cloudブランド傘下の製品として位置づけ直すことを明らかにしました。 New update to our Google Distributed Cloud portfolio Google Distributed Cloud Virtual: a software-only solution that brings o
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く