(株)日立製作所 研究開発グループ サービスコンピューティング研究部の栗原です。 今回、Kafkaを用いたSagaパターンのデモ構築（PostgreSQL＋Debezium＋Kafka）をし、動作検証したので、記事にしたいと思います。 １．Apache Kafka Kafkaとは、分散イベントストリーミングプラットフォームのOSSです。高スケーラビリティ、高信頼性が特徴で、活用事例・応用分野も多く、ソフトウェア選定の際によく選ばれるソフトウェアの１つだと思います。 Apache Kafka： https://kafka.apache.org/ ２．マイクロサービスのSagaパターン マイクロサービスでは、複数のサービスにまたがってデータ更新するときの設計が難しくなります。あるサービスの中で処理が正常に進みトランザクションがコミットされたとしても、別のサービスの中で異常発生した場合、全体とし
Amazon DynamoDBにおけるコスト最適化に向けたリザーブドキャパシティの算出方法 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDBにおけるコスト最適化に向けたリザーブドキャパシティの算出方法 本記事は、VMwareのデータサイエンティストであるSanjna Srivatsaとの共同執筆です。 Amazon DynamoDBは、リザーブドキャパシティと呼ばれる最小限の使用レベルの支払いを約束する顧客に対して、最大50%から70%程度の割引を提供します。この記事では、過去のDynamoDBが使用したデータを使用して、DynamoDBリザーブドキャパシティを予測する方法について学びます。 FinOpsの実践者（およびデータサイエンティスト）として、私はVMwareを支えるクラウドテクノロジーへの支出を最適化することに重点を置いています。VMwareでは、DynamoDBでかなりの量のプロビジョニング容量を使用していましたが、情報に基づいたリザーブ
Amazon DynamoDB は、テーブル、ローカルセカンダリインデックス (LSI)、グローバルセカンダリインデックス (GSI)、およびストリームからデータを読み取ります。詳細については、「Amazon DynamoDB のコアコンポーネント」を参照してください。テーブルと LSI のどちらにも、結果整合性のある読み込み (デフォルト) と強力な整合性のある読み込みという 2 つの読み込み整合性オプションが用意されています。GSI とストリームからのすべての読み取りは、結果整合性のある読み込みです。 アプリケーションが DynamoDB テーブルにデータを書き込み、HTTP 200 応答 (OK) を受信した場合、これは書き込みが正常に完了し、永続的に保持されたことを意味します。DynamoDB は、コミット済み読み取り分離を提供し、読み取りオペレーションが常に項目のコミット済みの値
本稿ではマイクロサービスアーキテクチャでの利用が可能なワークフローエンジンのZeebeを紹介します。このZeebeを利用することによって、開発者はマイクロサービスにおけるサービス間の連携をグラフィカルに記述することができ、またアプリケーションの実行状態を監視することも可能になります。 はじめに 最近のシステム開発では、マイクロサービスアーキテクチャと呼ばれるアプリケーションを疎結合なサービスで構築するアーキテクチャを検討することが増えてきています。 マイクロサービスでは複数のサービスを組み合わせてアプリケーションが実現されるため、アプリケーションが複数のサービスを横断してどのように組み立てられているか、またそれぞれのサービスの状態をどのように監視していくかは重要なポイントとなっていくでしょう。 実際のマイクロサービスの現場でも、複数のチームをまたいで一連の取引を組み立てる場合には、全体でど
自分の枠を超えサービスの非連続的進化を生み出すfreeeの「巨匠制度」の歴史（連載 第1回） - freee Developers Hub
DevBrandingのellyです。freeeのエンジニアには”巨匠”という「1ヶ月間通常業務から離れ非連続的な成長をもたらす成果を考え実行する」制度がありました。現在、その巨匠制度はマジ価値DeepDiver・ワンマンNavyという2つの制度に生まれ変わっています。今回は、これらの制度が生まれた背景とその歴史についてご紹介します。 なお、3部構成の連載形式で掲載していきますので、今後公開される記事についてもぜひご覧ください。 ※ 日程、タイトルは一部変更になる可能性があります 日程 タイトル 執筆者 10/13 自分の枠を超えサービスの非連続的進化を生み出すfreeeの「巨匠制度」の歴史 elly 10/18 初代・二代目巨匠が考えるエンジニアキャリア terashi/ebi/ichien 10/25 マジ価値DeepDiverを終えて liao 巨匠とは 巨匠制度は、2015年12月
「このブログはほぼ毎日更新しているという体裁だが、実際はリアルタイムに更新できていない、ある意味毎日更新という結果整合性だけが伴っている。」という話なんだけど、結果整合性ってなんだっけ、というのまっさらな話からざっくり理解するためのメモ 言葉の意味 分散データベースの文脈で使われることが多く、データの更新の一貫性を即時担保するものではなく、更新後に一定時間経過していれば正しく更新データを取得できるという整合性の考え方 英語を直訳すると『最終的な一貫性』となり、和訳では『結果整合性』という訳が当てられ、2つの意味を統合すると直感的にわかりすい。 解説 言葉としては分散システムで使われる事が多い。分散システムでは同一のデータを複数のコンピュータやシステムに分散して配置し、データそのものも複製して配置する。単一のシステムであればDBも単一なので問題ないが、分散化することによりDBも複製して配置す
Amazon SageMaker Operators を使用して Kubernetes の機械学習推論を簡素化する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Operators を使用して Kubernetes の機械学習推論を簡素化する Amazon SageMaker Operators for Kubernetes を使用すると、既存の Kubernetes クラスターを SageMaker がホストするエンドポイントで増加できます。 機械学習推論には、信頼できる効率的なサービスを作成するための投資が必要です。XGBoost モデルの場合、開発者は、Flask などを使用してモデルをロードし、エンドポイントを実行するアプリケーションを作成する必要があります。開発者は、キュー管理、障害のないデプロイ、新しくトレーニングされたモデルのリロードについて考える必要があります。次に、提供するコンテナを Docker リポジトリにプッシュする必要があります。ここで、
キーワード 分散システム、一貫性モデル、CRDT、結果整合性 はじめに Atomエディタの共同編集機能を支える技術に関する論文1 2を読んでみました ざっくりメモを残そうと思います 理解が不十分な部分や省略があり、詳細は元ネタ要参照です Teletype (beta) for Atomとは Atom用の共同編集用プラグインです Google Docsのように、複数ユーザーが1つの文書をリアルタイムで編集できるようになります オンラインエディタの動作 オンラインエディタは内部的に下記のフェイズからなると思います 編集フェイズ ローカルでの挿入・削除 反映フェイズ リモート（別編集者のエディタ）へ反映 編集フェイズ Site1: 1が挿入され a1b に。 Site2: 2が挿入され a2b に。 各編集内容がネットワーク経由でやり取りされます 反映フェイズ Site1: 2 の挿入が反映され
はじめに ご無沙汰です。 AWSでサポートに問合せた結果、AWS側で修正対応することになりましたのでメモ残しておきます。 事象について CloudWatchLogsのKMS暗号化方法については公式ドキュメントにあります。 https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/encrypt-log-data-kms.html 公式ドキュメント通りステップ4まで実施して、結びつけたCMKを無効化すればログは見れないと思ってました。(復号化できないため) だけどログ見えてるやん～～～てなってました。 AWSサポートに問合せしてみた 【問合せ１】 ー中略ー CloudWatch Logsのロググループに設定済みKMSキーを無効化しましたが、 CloudWatch Logs上でログに確認ができている状況です。 サポート側でも動
※この投稿は米国時間 2021 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 用途に適したデータベースを選択することは簡単ではありません。この選択はトランザクション処理、分析処理、インメモリ データベースといったユースケースによって大きく左右されますが、他の要素もかかわってきます。この投稿では、リレーショナル（SQL）および非リレーショナル（NoSQL）データベースを含む Google Cloud の各種のデータベース オプションについて触れ、各データベースのオプションに最適なユースケースを説明します。 リレーショナル データベースリレーショナル データベースでは、情報を行と列のテーブルに保存するので、一般的に構造化データに適しています。結果として、データの構造が頻繁に変化しないような用途で使用されます。ほとんどのリレーショナル データベースの操
子育てしてたら一日が終わってて、それを続けてたら一年が終わってた、そんな一年。 おかげさまで、👼🏻は1歳半の元気ざかりで何よりではある・・が、思ってたより大変すぎる！いやほんとまじで（ やってたこと 脱SPA、からのMPA、からの・・・ なんでもSPAにするんじゃねぇ！という主張のその先 - console.lealog(); 「とりあえずReactでNext.jsでSPAでよろしく！」みたいにやってくる案件を、「ほんとにSPAにする必要あんのけ？😒」って切り捨てる係をやってた。 もちろん、ほとんどのケースにおいてSPAである必要はなかった。 ただし巨SPAではなくても、 いくつかのページは、SPAでやるべき多機能さ いくつかのページは、SPAでなくていいけど、ちょっとだけJSほしい いくつかのページは、完全に静的でいい みたいな複合ケースがほとんど。で、それをいい感じにまとめてやる
概要 本記事の目的は、マイクロサービスアーキテクチャでよく使われるパターン、Transactional Outboxについての説明とAWSで実現する方法をお届けすることとしています。 Transactional Outboxを説明する中でマイクロサービスアーキテクチャについてや、Sagaパターンについてを詳細に述べることは致しません。 Transactional Outbox Sagaパターン マイクロサービスで複数のリソースの結果整合性を利用する方法として、Sagaパターンと呼ばれるものがあります。 Sagaパターンというのは、複数にまたがるサービスごとでトランザクションを分解し、それぞれが独立で処理するようなアーキテクチャパターンです。 Sagaパターンによりトランザクションをサービスごとに分解することの何が嬉しいのか。 => それは１トランザクションあたりにかかる時間を短縮し、それに
参考：ディレクトリバケット - Amazon Simple Storage Service 整合性モデル 整合性とは、ストレージへ新しいオブジェクトを書き込んだり既存のオブジェクトに対する上書きを行った直後の読み取りリクエストに対する一貫性のことを指します。 書き込みリクエスト後の読み込みに対する一貫性が高いと、書き込み直後に読み取りを行ってもすべての読み取りで更新後の最新版の結果が確実に読み取れます。この一貫性の高さを「強力な整合性」と呼びます。 現在のAmazon S3では、オブジェクト新規作成・更新・削除についての強力な整合性がデフォルトで提供されています。 強力な整合性と対になる整合性は「結果整合性」と呼ばれ、新規作成・更新・削除を行なった後も古いバージョンのオブジェクトを行う可能性があることを指します。 2020年12月より前のS3の整合性は結果整合性でしたが、それ以降は現在の仕
Amazon Aurora Global Database の書き込み転送を使用してグローバルに分散された MySQL アプリケーションを構築する | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora Global Database の書き込み転送を使用してグローバルに分散された MySQL アプリケーションを構築する AWS は 2018 年に Amazon Aurora Global Database をリリースしました。Aurora Global Database は主に 2 つのユースケースで使えます。最初のユースケースは、災害復旧ソリューションをサポートすることです。これにより、低目標復旧時点 (RPO) と低目標復旧時間 (RTO) でリージョン全体の障害に対処しながら、保護対象のデータベースクラスターへのパフォーマンスへの影響を最小限に抑えることができます。Aurora Global Database を使用すると、通常、RPO は 5 秒未満、RTO は 1 分未満に抑えることができます。書き込み
2021年のオープンソース活動の振り返り記事です。 今までの振り返りの一覧です。 今年のオープンソース活動振り返り @ 2020 | Web Scratch 今年のOSS活動振り返り @ 2019 | Web Scratch 今年のOSS活動振り返り @ 2018 | Web Scratch 今年のOSS活動振り返り @ 2017 | Web Scratch 今年のOSS活動振り返り @ 2016 | Web Scratch 今年のOSS活動振り返り @ 2015 | Web Scratch 今年のOSS活動振り返り @ 2014 | Web Scratch 2021年のGitHubのPublicなContributionsは8000~9000ぐらいを推移していました。 Privateリポジトリも含めると大体1.5倍ぐらいなので、これは2020年と大体同じ比率なようです。 データの取得には
Clique PoA, IBFT, Raftの違いと選び方
はじめに QuorumではClique PoA, IBFT, Raftの三種類のコンセンサスアルゴリズムが用意されています。 目的に沿った一番良いアルゴリズムを選びたいところですが、公式ドキュメントでは詳細の仕組みや選び方などが説明されていません。 この記事では、Quorumで選択できるコンセンサスアルゴリズムに関してそれぞれの仕組みや性能差・特徴をまとめて解説しました。 難しいトピックとなるので、結論だけ把握したい方はそれぞれのアルゴリズムのサマリとなるポイントと最後の比較表だけ見てください。 ＜参考記事＞ https://kaleido.io/consensus-algorithms-poa-ibft-or-raft/ https://docs.goquorum.com/en/latest/Consensus/Consensus/ Clique PoA(Proof Of Authori
「SQLパフォーマンス詳解」を読んだのでまとめ
DB のパフォーマンスを考える機会が増えてきたので、 SQL の勉強を始めました。 開発者のための SQL パフォーマンスの全てというサイトがわかりやすく、紙の本 SQL パフォーマンス詳解 を読んだので忘れないうちにまとめます。 本の目次に沿ってまとめていきます。 目次 インデックスの内部構造 where 句 パフォーマンスとスケーラビリティ 結合処理 データのクラスタリング ソートとグルーピング 部分結果 挿入、削除、更新 インデックスの内部構造 この本で説明されているのは B ツリー インデックスはメモリ上の物理データとは別の論理的な順序データ インデックスは以下の構造をイメージできていれば良さそう SQL のインデックスとそのチューニングについてのオンラインブックより インデックスを使った検索手順 ルートノードからリーフノードまで降りていく ツリー走査(左から右) リーフノード間の
株式会社ジェイテックジャパン CTOの高丘 @tomohisaです。この記事は私たちジェイテックジャパンの作成しているイベントソーシング・CQRSフレームワークがリリースされてしばらく経ったので開発に至るきっかけやこれまでの歴史をまとめてみました。 Sekiban開発に至る経緯 複雑さに対応するアーキテクチャの必要性 当初、私たちはシンプルなMVCで開発を行っておりました。しかしながら、Fatコントローラーが生じる問題や、モデルにビジネスロジックをまとめる難しさから、メンテナンスが困難なシステムへと変化してしまいました。 そこで、弊社ではDDDというドメイン駆動設計を導入しました。初期段階では「軽量DDD」もしくは「とりあえずレイヤー化したオニオンアーキテクチャ」でした。しかし、リポジトリの抽象化によって、コードのテストが劇的に書きやすくなりました。また、多くのビジネスロジックがドメインに
日比谷のクラスメソッド社さん会場に100名以上が集結するオフラインイベント、午後編です！ ※リアルタイムの走り書きのため、誤り等あればお知らせください🙏 前編はこちら👇 Refactoring Serverless / 淡路大輔 (AWS) SA淡路さんのセッション。短時間ですが非常に情報量が多く、「アーキテクチャ道場！」を彷彿とさせる濃密でエキサイティングなセッションでした🔥 Lambdaだけじゃない！周辺のAWSサービスに処理が委譲されてきた。 AWSサーバーレスの歴史 Lambda, API Gateway, Step Functions, SQS, SFn Express Workflows/SDK Integration サーバーレスアプリ設計のアプローチ イベント： DynamoDB, S3, API Gateway Lambdaファンクション →もしこのGlue（のり付
Mark Richards, Neal Ford 著, 島田 浩二 訳ソフトウェアアーキテクチャの基礎 Fundamentals of Software Architecture 日本語版は紙、英語版はKindleで読みました。Kindle版は図がカラーで見れます。 本書を読んだ感想を書いていきます。 Chapter 1. IntroductionSoftware ArchitectureとはSoftware Architectureの定義が業界でよく定まっているわけではないところから話が始まります。 その理由として、Microserviceような新しいArchitectの台頭によってsoftware architectの役割が拡大していることが挙げられています。 また、本書はsoftware architectを一度作ればその後は変更の対象にならない静的なものではなく常に漸進的に変化して
Kubernetes と GCP のリソースを統合して、よりシンプルで迅速なデプロイを実現 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 1 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 コンテナと Kubernetes を採用すると、特にリソースを構成、維持する方法など、新しい処理方法を採用することになります。宣言型システムである Kubernetes では特定のリソースに対する意図を表現でき、そのリソースを継続的に調整しながら作成、更新します。命令型構成のアプローチとは異なり、Kubernetes スタイルの宣言型構成では、構成をバージョン管理システムに保存して YAML ファイルで定義するという GitOps のベスト プラクティスに従いやすくなります。 ただし、Kubernetes で実行されるアプリケーションは、多くの場合、Cloud SQL や Cloud Storage などの Kubernetes 外部にあるリソースを使用します。通常、こ
メモ 以前取得したAWSの資格「クラウドプラクティショナー」に続き「ソリューションアーキテクトアソシエイト(SAA-C03)」取得を目指して勉強中！ いつも何か勉強するときは基本的に書きながら覚えるのでここでアウトプットします。 有益な情報かどうかは不明(笑) AWSのデータベースサービス システムの構成要素としてデータベースはなくてはならない存在。 1998年以降、データベースにも複数のアーキテクチャやデータモデルが登場しており、システムの特徴に応じて最適なDBを選択することが重要なポイントとなってきている。 AWSではデータベースサービスとして8つのサービスを提供している。 ソリューションアーキテクトとしてそれぞれのサービスの特徴を理解し、最適なサービスを選択する力を身につける。 データベースの2大アーキテクチャ AWSが提供するデータベースサービスは以下の9つ。 ・RDS ・Reds
こんにちは、sumirenです。 この記事は2023年3月末でCIerを辞める筆者の退職エントリとなります！ はじめにCIerとはクラウドインテグレーターの略称で、以下のような傾向のあるSIerのことです。有名どころだと、クラスメソッドさんがわかりやすいと思います。 クラウドを組み合わせたアーキテクチャを提案する 上流工程〜下流工程まで自社でやる 上記の特徴から、大手SIerより短納期で柔軟性のある開発ができる 中小企業の割にエンプラから仕事を請けている この記事の要約要約すると次のようなことです。 CIerで幅広い技術を触れて、フルスタックエンジニアやアーキテクトとしての経験が積めた。プロジェクトマネージャや管理職も経験でき、ソフトスキルやビジネススキルも大きく高まった。CIerに入ってよかった 一方、4年間働いて、社会に役立っている実感がなかった。エンジニアリングのレベルも、フリーラン
みなさん、CRUD はご存知でしょうか？ Web エンジニアの方なら、学習を始めた最初の頃から聴き馴染みのある言葉だったりするかなと思います。 Create, Read, Update, Delete の頭文字をとったもので、データ操作の 4 つの基本操作です。 例えば RESTful API の場合、下の画像のように HTTP メソッドを対応させて CRUD を表現するのが一般的です。 しかし、CRUD の中で R とそれ以外ではかなり特性が違います。 UI で想像していただければと思うのですが、Read は一覧画面や詳細画面であり、頻繁に呼び出されます。また、多くの場合リクエストごとに挙動が変わるわけではないので、キャッシュが有効です。フィルターや検索もよく使われます。 一方の Create, Update, Delete では、トランザクションが重要視されます。また、アプリケーション
[翻訳] サーバレスアプリケーションにおけるEvent-Driven Architectures と Event-Based Computeの比較 | DevelopersIO
[翻訳] サーバレスアプリケーションにおけるEvent-Driven Architectures と Event-Based Computeの比較 About this article この記事は、 Event-Driven Architectures vs. Event-Based Compute in Serverless Applications の記事を Momentoが著者および[Riywo]氏(https://twitter.com/riywo)の許可を得て邦訳しました。 著者のAlex Debrieについて 元記事の著者であるAlex Debrieは欧米のサーバレス界隈で有名な人物です。 彼はDynamoDBに関する書籍の著者でもあり、AWSのサーバレスヒーローでもあります。 Translated article コメント&補足 翻訳元の記事「Event-driven vs
![[翻訳] サーバレスアプリケーションにおけるEvent-Driven Architectures と Event-Based Computeの比較 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae7f5be1d5747e2f6e23c3648bd07b21834eb14f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_ServerlessArchitecture.jpg)
Lightbend Academy (Cognitive Class) の Reactive Architecture（リアクティブ・アーキテクチャ）学習ノート - Qiita
Lightbend Academy (Cognitive Class) の Reactive Architecture（リアクティブ・アーキテクチャ）学習ノートAkkalagomReactiveSystemReactiveArchitectureLightbend Lightbend Academy で Reactive Architecture（リアクティブ・アーキテクチャ）について学んだ内容をメモっとく。どうやら同じコースが Cognitive Class でも公開されているみたいなので、Lightbend Academy 無料期間に受講できなかった人はこちらをどうぞ。 本稿は、個人的に思い出すために書き留めているノートなので、言葉の正しさは保証できない。どんな内容がコースに含まれているかを俯瞰するにはいいかと思う。 コースの3つ目まではノートを書いてなかったので、気が向いたら時間のあ
週刊AWS – 2020/11/30週 (re:Invent 特別編集号) | Amazon Web Services
Amazon Web Services ブログ 週刊AWS – 2020/11/30週 (re:Invent 特別編集号) みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 先週からAWSの年次イベント AWS re:Invent 2020 が開催になりましたね。今回はオンライン開催、無料で参加可能、かつ3週間に渡っての開催と初の試みが多いre:Inventになっています。去年と同様、re:Invent期間中は特別編集号とさせていただき、筆者らが独断と偏見でピックアップした重要アイテムを紹介する形でお送りします。今号はKeynote (Andy Jassy)で発表されたものを中心にピックアップしてご紹介します。 それでは、先週の主なアップデートについて振り返っていきましょう。 2020年11月30日週の主要なアップデート – re:Inven
概要 とあるマイクロサービス開発に携わることになり、取り巻く技術要素について調査した内容から良TIPSをブックマーク。サマリを追記。 とあるサービスの特徴 Javaベースのマイクロサービス 今後別言語のサービスを追加する可能性もあるためREST APIベースのインターフェース Javaにおいては高速ながDI必須 Dockerコンテナの利用 Gradleによるマルチプロジェクトビルド 設計思想はドメイン駆動設計を採用 👉マイクロサービス 複数の小さなサービスをAPIを介することで連結させたシステム サービス間の依存がないため、言語や基盤に関係なくサービスを追加・削除可能 代表的なAPIはREST APIで、http通信にてJsonを介したデータのやり取りを行う サービスが複数となるため、以下の課題をどう解決していくかが求められる サービスごとに参照する永続化層（DB、ファイルなど）をAPI
※この投稿は米国時間 2021 年 6 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 「低レイテンシと高スループットを必要とするアプリケーションを構築している場合」- 大量の読み取りと書き込みに対応できるデータベースが必要です。Cloud Bigtable は、まさにこの処理を前提として設計されています。 Cloud Bigtable はフルマネージド、ワイドカラム型 NoSQL データベースで、ペタバイト規模まで対応可能です。低レイテンシ、大量の読み取りと書き込み、大規模でのパフォーマンスの維持に向けて最適化されています。数ミリ秒単位の超低レイテンシを実現します。時系列のオペレーションや MapReduce スタイルのオペレーションに最適なデータソースです。Bigtable はオープンソースの HBase API 規格をサポートしているため、HBase、
このコンテンツは eBook の「コンテナー化された .NET アプリケーションの .NET マイクロサービス アーキテクチャ」からの抜粋です。.NET Docs で閲覧できるほか、PDF として無料ダウンロードすると、オンラインで閲覧できます。 前のセクションでは、ドメイン モデルの基本的な設計原則と設計パターンを説明しました。 ここでは、.NET (プレーンな C# コード) と EF Core を使ってドメイン モデルを実装するために可能な手段を確認します。 ドメイン モデルは、自分が書くコードのみで構成されます。 EF Core モデルの要件があるだけで、EF に対する実際の依存関係は存在しません。 ドメイン モデルには EF Core または他の ORM への緊密な依存関係や参照を含めないでください。 カスタム .NET Standard ライブラリのドメイン モデル構造 eSh
PostgreSQL Conference Europe 2022@ベルリンに参加してきた #pgconfeu | DevelopersIO
PostgreSQLのヨーロッパにおける年次イベント「PostgreSQL Conference Europe(以下PGConf.EU)」が2022年10月25日から10月28日に渡ってドイツ・ベルリンで開催されました。 地元民の地の利を活かして参加してきましたので、カンファレンスの印象やセッションについてレポートします。 PGConf.EU について PGConf.EUはヨーロッパ最大の年次のPostgreSQLカンファレンスです。 2009年に第1回がフランス・パリで開催され、毎年異なる都市で開催されています。 直近では、2018年がポルトガル・リスボン、2019年がイタリア・ミラノで開催されたあと、2020年はドイツ・ベルリンの予定でしたが、パンデミックのために2回延期され、2022年に1106日ぶりにカンファレンスが開催されました。 カンファレンスは1日目のワークショップと2〜4日
Presigned URL を用いた S3 multipart upload を行う (by JavaScript + Python Chalice) - Qiita
Presigned URL を用いた S3 multipart upload を行う (by JavaScript + Python Chalice)PythonJavaScriptAWSS3chalice 問題 AWS S3 によって Presigned URL を発行すれば、サーバーに直接ファイルをアップロードせずとも、S3 に対して直接ファイルをアップロードできる。 しかし、1回のリクエストでアップロードできる最大ファイルサイズは 5GB であり、それ以上のファイルをアップロードするためにはマルチパートアップロードによって分割アップロードを行う必要がある。 ここでは、ブラウザ側に Credential を発行することなく、サーバー側で発行された Presigned URL を利用してファイルをマルチパートアップロードする方法についてを記す。 プロジェクト全体 プロジェクト全体で利用す
この記事は Voicy Advent Calendar 2020 の 18 日目の記事です。 先日は, @tamo_hory さんの AndroidアプリにVisual Regression Test導入を目指す 第一回 Instrumented testで自動でスクショを撮る でした。明日は, @miyukiaizawa さんの ~ です。 はじめに マイクロサービスパターンの db は, サービス毎のモジュール性を担保するため, database per service というパターンを当てはめ 「1サービスあたり1db」 となっています。 そのため従来の単一 db に対する 2PC （begin...commit） だけだとデータの整合性の面で問題が残ります。 その時, 結果整合性を保つのに有効となるパターンが Saga と呼ばれるパターンです。 今回はそんな Saga パターンに優
![[golang] オーケストレーションベースのサーガパターンに優しく入門する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e8f029f267e1b5bb64a99463d29937a81422ce1c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCZ29sYW5nJTVEJTIwJUUzJTgyJUFBJUUzJTgzJUJDJUUzJTgyJUIxJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUFDJUUzJTgzJUJDJUUzJTgyJUI3JUUzJTgzJUE3JUUzJTgzJUIzJUUzJTgzJTk5JUUzJTgzJUJDJUUzJTgyJUI5JUUzJTgxJUFFJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgyJUFDJUUzJTgzJTkxJUUzJTgyJUJGJUUzJTgzJUJDJUUzJTgzJUIzJUUzJTgxJUFCJUU1JTg0JUFBJUUzJTgxJTk3JUUzJTgxJThGJUU1JTg1JUE1JUU5JTk2JTgwJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkNtaWRkbGUmcz1lZDkyMjFlODhkNmM4NDQ4MzRlZmRiN2IxMWUzYTlhZA%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc29tZW40NDAmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgxODg5NTNkODRmZGJmMWU3ZmJhMmIzMDRmZTRiNGQ4%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dad053dd25209d51ebdcf9c7bf4e9a360)
AWSの各DBの特徴が把握できる【Planning and Designing Databases on AWS】を受講してみた | DevelopersIO
AWSの各DBの特徴が把握できる【Planning and Designing Databases on AWS】を受講してみた 皆さんこんにちは、AWS事業本部オペレーション部の清水です。 AWS における様々な DB サービスの特徴について学習するべく、「Planning and Designing Databases on AWS」を受講してきました！ 本コースの受講をお考え中の方へ、お役に立てば幸いです。 AWS認定トレーニングとは？ 以下のブログに、弊社AWS認定トレーニング講師の平野のほうで執筆した各トレーニングの詳細が記載されています。 私が今回受講したのは、以下の図の赤枠に入るコースになります。AWSを利用して、より高度なセキュリティマネジメントを実施する方法を学びたい方におススメのコースになります。 事前準備 知識レベル [Introduction to Building
2021年6月26日 拝、灰、廃、獰猛どうもうです。 中高年の星☆爺婆の太陽 の静吉プレゼンツでございます😍 序 破 急 序 最初から閑話休題です😋 ぼくは国語が弱いので、今回のタイトル「エロくもないけどすっぽんぽんの奥様が出てきた夢のお話」 の最後の「話」が不自然に思うのです。 動詞の場合は「話し」となるけど、名詞である場合は「話（はなし）」となるのがセオリーらしいけど、送り仮名がないとぼくには「話」は「わ」にしか読めないのだ。 だけど動詞の場合は『これから話すね』というように、「話」に送り仮名「す」が必要だ。 『日本昔話』だと完全タイトルなので「日本昔話し」じゃこれは違和感いっぱいの間違いになる。『そういう話ですか』だと「そういう『わ』ですか」になっちゃうのでちゃんと「そういう話しですか」と送り仮名を付けなければいけない。 だから今回のタイトルの「エロくもないけどすっぽんぽんの奥様
背景 AWS使ってサーバーレスで自分用の家計簿的なwebサービスを勉強も兼ねて開発中。消費情報を登録する部分を作り、最近それに加えて残金管理を出来るようにした。 そうなると１つの消費情報登録で、複数のテーブルに対して更新を行う事になる。整合性を保つために、トランザクション制御を行いたい。 防ぎたいケース 片方のテーブル更新後、別テーブルの更新に失敗による不整合データ発生 複数人同時処理時、更新前データ取得による不正値更新（自分しか使わないけど） DynamoDBの特性復習 読み込み整合性 を強力にする事は出来るが、基本的に結果整合性を使うべき。（複数ノードに書き込まれる前に読み出すと古いデータが読まれる） javaでDynamoDBトランザクションを実現してるライブラリ が存在する 2018年末にDynamoDBのトランザクション機能 が発表された。前述ライブラリでなく、こちらを使用するの
Kyash Advent Calender 2019 10日目の記事です。 前置き 7月にサーバーサイドエンジニアとしてKyashにjoinしてから、あっというまに5ヶ月も経過してしまいました。 本当にあっというまだ・・・ Kyash Advent Calender 2019に参加することになったので、今回は自分が関わっているKyash Directについて書いてみることにします。 Kyash Directではマイクロサービスアーキテクチャを採用しており、マイクロサービス間のデータ整合性を保つためにSaga Patternを用いています。 Kyash Directに携わり始めてからSaga Patternというものを知り、色々調べてみると面白い仕組みだなと思ったのでSaga Patternについて掘り下げていくことにしました。 Saga Patternとはなにか "A Saga if it
2024年2月24日紙版発売 2024年2月24日電子版発売 杉本啓 著 A5判／400ページ 定価3,740円（本体3,400円＋税10%） ISBN 978-4-297-14010-6 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 本書のテーマは「データモデリング」と「基幹系システム」です。 Web上で台頭しつつある新たなビジネスは，新たな基幹系システムを必要としています。一方，既成ビジネスでは，モノリシックで硬直的な基幹系システムをしなやかな姿に変えていく必要があります。 基幹系システムの中核には「構造化されたビジネス記録」＝「帳簿」があ
Cloudflare Pages と Cloudflare Workers KV を組み合わせてウェブアプリを作ってみた - Neo's World
Cloudflare Pages と Cloudflare Workers KV を組み合わせてウェブアプリを作ってみた 前回に引き続き、Cloudflare の無料枠で遊んでみる。今回は静的サイトホスティングをしてくれる Cloudflare Pages を使って、前回作成した Cloudflare Workers を呼び出すようなアプリを作ってみる。ついでに Cloudflare Web Analytics も試しているので、最後までお楽しみに (？) 前記事：Cloudflare Workers による FaaS・Cloudflare Workers KV による Key-Value Store を試してみた 目次 Cloudflare Pages とは GitHub リポジトリを用意する Cloudflare Pages プロジェクトの作成・初回デプロイ Workers スクリプト
カルキチのブログバックエンドDynamoDBの基本についてまとめてみた【初心者向け】2022-05-04DynamoDBの基本についてまとめてみた【初心者向け】 いま携わっている開発で初めてDynamoDBを触ったのですが、色々不明点が多かったのでまとめてみることにしました。 今までRDBMSしか使った開発しかやったことがなく、NoSQLに関してはほとんど知見がなかったので、かなり基本的なことしか書いていないです。 DynamoDBとは？DynamoDBとは、AWSが提供するキーバリュー型のNoSQLデータベースです。 以下公式の引用です。 Amazon DynamoDB は、ハイパフォーマンスなアプリケーションをあらゆる規模で実行するために設計された、フルマネージド、サーバーレスの key-value NoSQL データベースです。DynamoDB は、内蔵セキュリティ、継続的なバックア
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafkaを用いたマイクロサービスSagaパターンの検証 - Qiita
読み込み整合性 - Amazon DynamoDB
マイクロサービスオーケストレーションを助けるZeebe | オブジェクトの広場
ざっくり知る「結果整合性（Eventual Consistency）」 - コード日進月歩
Atom の 共同編集機能 を支える技術について調べてみた - Qiita
もしもAWS CloudWatchLogsをKMS暗号化して、KMSキーを無効化したら - Qiita
Google Cloud のデータベース オプションについての説明 | Google Cloud 公式ブログ
2021年の振り返り - console.lealog();
Transactional OutboxをAWSで実現する - Qiita
AWS入門ブログリレー2024〜Amazon S3編〜 | DevelopersIO
今年のオープンソース活動振り返り @ 2021
イベントソーシングフレームワーク、Sekibanの開発に至る経緯と開発中の試行錯誤
Serverless Days Tokyo 2023に参加してきました！（後編） - Qiita
📗 ソフトウェアアーキテクチャの基礎を読んだ感想 | Happy developing
【AWS】SAA資格取得のための学習用備忘録(データベースサービス) - ポンサラの逆襲
SIer(CIer)を退職して真のエンジニアリングをやります｜sumiren
クラウド時代は CRUD ではなく CQRS で考えよう | iret.media
まいくろさーびすあーきてくちゃメモ - Qiita
Cloud Bigtable の規模 | Google Cloud 公式ブログ
.NET でマイクロサービス ドメイン モデルを実装する - .NET
[golang] オーケストレーションベースのサーガパターンに優しく入門する - Qiita
エロくもないけどすっぽんぽんの奥様が出てきた夢のお話😎 - チコちゃんに叱られないブログ
DynamoDBでのトランザクションを実際に使って考えてみる。 - Qiita
Saga Pattern について考える - 雑記帳
データモデリングでドメインを駆動する ――分散／疎結合な基幹系システムに向けて
DynamoDBの基本についてまとめてみた【初心者向け】｜カルキチのブログ