［速報］「Amazon DevOps Guru」発表。DevOps関連の設定ミスやコードの問題などを機械学習が指摘してくれる。AWS re:Invent 2020
Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、DevOpsの実現を支援するマネージドサービス「Amazon DevOps Guru」を発表しました。 一般に、DevOpsの実現には、分散環境を活用しつつコードの編集、ビルド、テスト、デプロイなどの一連のツールを連係させ、本番環境でのログを収集し分析するなど、手間のかかる運用が求められます。 Amazon DevOps Guruは、AWSにおけるDevOpsの経験を元に行った機械学習により、DevOpsのサイクルの中で発生する構成ミスやリソース不足が予想される際の警告、問題が発生しそうなコードや構成に対する変更の発見、データベースのI/O性能不足に対する警告などを行ってくれるサービス。 これにより複雑で手間のかかるDevOpsの実現と運用を支援してくれるというも
9月末で2年10ヶ月ほど勤めていたReproを退職することになりました。 やったこと GDPRやAppleの規約に対応するためにさまざまなデータストアからデータを削除する仕事をしていた。RDBに格納される構造化データだけでなく、半構造化データ、画像などの非構造化データまで含めると、削除すべきデータは多岐にわたり、削除作業は非常に複雑になる。データ（特に個人データ）を収集する際には「どの程度保持するか」や「どのように削除するか」も同時に検討すべきだし、保持期限や個人データかどうかといったデータ自体に関するメタデータを管理する仕組みも必要になってくるということを学んだ。 プッシュ通知などの配信履歴と既読情報を収集する仕組みをつくる仕事をした。膨大な量のデータを書き込むためにCassandraを使うことになったが、なじみのあるRDBMSとは似て非なるもので、NoSQLにおけるスキーマ設計やクエリ
SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) | Amazon Web Services
Amazon Web Services ブログ SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) ビジネスが成長するにつれて、SaaS (Software as a Service) プロバイダーが直面する課題の 1 つは、テナントのエクスペリエンスをどのように維持するかです。これには、テナントベースが拡大するにつれて、許容できるパフォーマンスとレスポンスタイムを確保することが含まれます。Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースは、一般的に SaaS プロバイダーによって使用されています。ビジネスが成長するにつれて、データベースのスケーリング方法も決定する必要があります。 SaaS ビルダーとしての課題は、SaaS
AWS CloudFormationの最近の変更 AWS CloudFormationでは2023年末から2024年6月にかけて多くの改善・機能追加がありました。 特に下記は「三大変更点」と呼んでもいいかなと思います。 Gitと同期(Git Sync) (2023/11) IaCジェネレーター (2024/02) オンラインエディタをデザイナーからApplication Clomposerへ変更 (2024/03) また、『最近CloudFormationのデプロイが早くなった気がする』とか思っている人も多いと思います。下記の変更がアナウンスされています。 4 スタック作成を高速化 (2024/04) スタックセットでも地道に変更があり、オプションが追加されています。 5 スタックセットで「同時実行モード」オプション追加 (2023/11) 他にも変更はありますが、CloudFormati
Cloudflareは2010年9月27日に設立された企業で、近年は毎年のようにこの設立日付近で新たなサービスを発表してきています。それぞれのサービスの内容から、CloudflareがAWSやAzure、GCPという名だたるクラウド企業へどのように挑戦しようとしているのかという分析を、エンジニア兼エンジェル投資家のショーン・ワンさんが行っています。 Eating the Cloud from Outside In https://www.swyx.io/cloudflare-go/ Cloudflareは2017年に「Cloudflare Workers」をリリースして以来、下記の通りWorkersの機能を強化するリリースを行ってきました。 2017年：サーバーレスコンピューティング「Cloudflare Workers」 2018年：結果整合性のあるデータストア 2019年：ウェブサイト
AWSで10万円溶かした話 - Qiita
例えば、無料利用枠の推奨メモリである『t2.micro』の場合、東京リージョンだと0.0152USD/時間の課金が発生し、現在の為替レートだと約1.6円/1時間となる。 AWSの課金項目は大きく2種類存在しており、上表1,2のように起動している時間だけ課金が発生するものと上表3のようにデータ転送が発生した場合にのみ課金が発生するものがある。 何を思ったのか私は3のようなデータ転送を行っていないから、使わないサーバの消し忘れを甘く見ていたのであった ＃普通に考えれば起動している時間だけ課金が発生するものの方が高いに決まっている 実際の利用明細 以下が実際に今月私が請求されたAWSの利用明細である。 私はこの驚愕の数字に軽く1時間は茫然自失していた。 もうじきハロウィンの季節だが、ドッキリにしては痛手がすぎる。 AWS サービスの料金 $796.20 API Gateway $0.00 Clo
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた いわさです。 Aurora グローバルデータベースでは書き込み転送機能があります。 リーダーエンドポイントのみのセカンダリリージョンで書き込み操作を行うと、プライマリリージョンへ書き込みを転送してくれる機能です。 このグローバルデータベースでサポートされていた機能が単一リージョンの Aurora クラスターでも利用できるようになりました。 この機能を有効化することで、クライアントからリードレプリカに対して書き込み操作を行った場合に、リーダーインスタンスがライターインスタンスに書き込み操作を転送してくれます。 従来リードレプリカを導入する場合はクライアントアプリケーション側でライターエンドポイントとリーダーエンドポイントを管理しなければいけませんでした。 いくつか制限事
![[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0daaf3649414b6f27679779d9a4b12e219c67548/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-aurora.png)
SQL ServerのCDCを用いた加熱商品の販売イベントにおける負荷軽減の取り組み - ZOZO TECH BLOG
こんにちは、SRE部の廣瀬です。 本記事では、ZOZOTOWNでカートに商品を入れる際に使われているデータベース群の内、SQL Server（以降、カートDBと呼ぶ）にフォーカスします。ZOZOTOWNでは数年前から、人気の商品（以降、加熱商品と呼ぶ）が発売された際、カートDBがボトルネックとなる問題を抱えています。様々な負荷軽減の取り組みを通じて状況は劇的に改善されていますが、未だに完璧な課題解決には至っていません。 そこで今回は、加熱商品の発売イベントにおける負荷軽減の取り組みを振り返ります。また、直近の取り組みとして、SQL ServerのCDCを用いた新たな負荷軽減の検証内容をご紹介します。 背景 - カートDBのボトルネックについて 加熱商品の発売イベントに関する対策について、最初に言及した記事としては以下が挙げられます。この記事では人気の福袋商品を加熱商品として紹介していますが
なんの話 単に「複数組織間でデータを持ち寄って共有」をやりたい、ってだけでもエンタープライズブロックチェーンはメリットあるかも 「ブロックチェーンでないとできない」でなくても「ブロックチェーンのほうがやりやすい」ことで結果として実現可能になるユースケースはたくさんある イントロ エンタープライズブロックチェーンって何がうれしいの？という話はこれまでに地道に整理、啓蒙されてきており、また徐々に浸透し理解が進みつつあると思うんですが、これまで多く語られてきたのはどちらかというと「耐改ざん性で信頼の問題を解決する～～」とか「二重支払いの防止で価値の移転ができるようになる～～」とかそういった結構派手めな話だったように思います。そういう派手めなポイントももちろん重要なんですが、エンタープライズブロックチェーンを適応できる射程は本来それらが課題になっている領域よりももっと広いのではないか、地味ではある
こんにちは、滝澤です。 前回の記事『WireGuardによるマルチクラウド構成VPNの事例紹介』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワーク間をWireGuardというVPNトンネルのソフトウェアで接続しています。 さらに、リレーショナルデータベース管理システムにはMySQLを利用しており、MySQLのレプリケーション機能の一つであるGroup Replicationを使って拠点内および拠点間における冗長化を行っています。 今回はこのMySQL Group Replicationの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）において、
こんにちは、LINEヤフー株式会社でデータベース部門に所属している、今野です。現在は、先日LINEヤフー社内にて提供を開始したFractalDBの開発と運用を担当するチームに所属しています。 FractalDBは、LINEヤフーのオンプレミス環境に向け開発された、データベースプラットフォームです。この記事では、FractalDBの概要として、開発に至った背景や設計目標から、その特徴およびアーキテクチャの概要について紹介します。 また、LINEヤフーでは今夏のインターンシップを募集しています。FractalDBチームも募集してますので、ページの最後の紹介をぜひ確認してみてください。 FractalDBとは FractalDBは、LINEヤフーのオンプレミス環境に最適化されたデータベースプラットフォームとして開発されています。リレーショナルデータベースとNoSQLデータベースの利点を融合させた
AWS のディザスタリカバリ (DR) アーキテクチャ、パート IV: マルチサイトアクティブ/アクティブ | Amazon Web Services
Amazon Web Services ブログ AWS のディザスタリカバリ (DR) アーキテクチャ、パート IV: マルチサイトアクティブ/アクティブ このブログはSeth Eliot (Principal Reliability Solutions Architect with AWS Well-Architected)によって執筆された内容を⽇本語化したものです。原⽂はこちらを参照して下さい。 このシリーズの最初のブログ記事では、ディザスタリカバリ (DR) の 4 つの戦略を紹介しました。その後の投稿では、バックアップと復元、パイロットライト、ウォームスタンバイアクティブ/パッシブ戦略の詳細を共有しました。 この投稿では、ワークロードを実行し、2 つ以上の異なるサイトでリクエストを処理するアクティブ/アクティブ戦略を実装する方法について説明します。他のDR戦略と同様に、これにより
モジュラーモノリスについて 目次 モジュラーモノリスとは メリット デメリット・課題 採用例・実装例 必要・向いているケース 不必要・向いていないケース そもそもマイクロサービス メリット デメリット・課題 マイクロサービスを選択する理由 マイクロサービスを採用すべきでない時 とりあえずまとめ そもそもモノリス デメリット・課題 モノリスの種類 参考 モジュラーモノリスとは モノリスからマイクロサービスへでは単一プロセスのモノリスのサブセットと紹介 独立して作業が可能なモジュールで構成され、デプロイ時に結合 モノリスアプリケーション内で、ドメインモデル等を単位としてモジュールに分解し、モノリスのように1つのデプロイパイプラインだけを持ちつつも、マイクロサービスのようにシステムのモジュール化・独立性を両立 マイクロサービスアーキテクチャの場合OrderサービスやPaymentサービス等が独立
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する - ZOZO TECH BLOG
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon
マイクロサービスからモノリシックへ。チャットサーバ移行の道のり - Timee Product Team Blog
はじめに はじめまして、バックエンドエンジニアのぽこひで (@pokohide) です。 最近の日課はゲーム実況者「兄者弟者」の「DYING LIGHT 2 STAY HUMAN」と「エルデンリング」を見る事です。 本記事ではタイミーで長年使われていた、マイクロサービスとして切り出されたチャットサーバ（以降、旧チャットサーバと呼びます）をタイミーの中核を担うモノリシックなRuby on Railsサービス（以降、タイミー本体と呼びます）に移行した話です。 今回は移行した経緯、気にした点などを紹介します。 対象にしている読者は以下の方々です。 レガシーなシステムと向き合っている人 無人化システム ※1 に疲弊している人 ※1 : 無人化システムとは この記事 に出てくる造語で「誰も詳細は知らないが、なぜか動いているシステム」を意味する はじめに チャット機能とは 旧チャットサーバとは なぜや
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
オープンソースと寄付と慈善活動と
オープンソースと寄付と慈善活動と [fit] 寄付するために寄付管理プラットフォームを作る話 自己紹介 Name : azu Twitter : @azu_re Website: Web scratch, JSer.info Disclaimer この資料は自分用にまとめたものです 寄付、慈善活動が良いか悪いかについて議論しません まだ学問のように体系がしっかりしているわけでもないので、現時点の解釈が多く入ります それっぽい事実はあるけどあくまでそれっぽいだけ アウトライン 寄付/慈善活動について勉強していた オープンソースの課題との類似性が高そうと思った オープンソースでの重要性として透明性を認識していて、寄付に関しても透明性が重要視されている また寄付を躊躇する問題は予算のプレコミットメントで解決できるかも philan.net つくってみた 課題が見えてきた 慈善活動への興味 最近、
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
自分が本格的に設計を意識するようになったのは、2015年の夏に現職であるFringe81株式会社で開催されていたサマーインターンに参加してからだ。 インターンではDDDとクリーン・アーキテクチャ*1を一から勉強してAPIサーバーに実装する、というカリキュラムであったが、いま思うと2週間という比較的長いインターンで僕が学べたことと言えば本当に微々たるものだった。つまるところ、それくらいには設計というものは奥が深い。常になんらか特定のデザイン・パターンなりアーキテクチャ・パターンを適用することでアプリケーション開発がうまくいくということはなく、それらの様々な知識から少しづつ応用されたものが最終的なアプリケーションの設計に対して真の洞察を与えてくれるものというのが、僕自身のいまの認識である。 設計はまさに Connecting the dots そのものだ。多くを知れば知るほど、アプリケーション
こんにちは(U・ω・U) ElastiCacheおじさんを目指して歩みを続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 皆さん、ElastiCache使ってますか？使ってますね。恐らくはAWSを触っている大多数の人は導入を検討される大変魅力的なサービスだと思います。ですが、実際にElastiCacheの導入に悩まれている方も多いと思います。そんな貴方にElastiCacheの魅力と使い方をお伝えしましょう。 どんな特徴があるの？ ElastiCacheはデータをノードのメモリに保存するので非常に高速でデータの出し入れが可能です。ですがメモリにデータを保存しているのでノードが落ちてしまう（再起動を含む）と中のデータが無くなってしまいます。なのでElasti
［速報］AWS Lambdaがコンテナイメージをサポート、関数として実行可能に。AWS re:Invent 2020
Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、AWS Lambdaのコンテナサポートを発表しました。 AWS Lambdaはサーバレスコンピューティングを実現するサービスです。ファイルの保存やHTTPの通信などのイベントに対応した関数を、あらかじめJavaScriptやJava、Python、Goなどのプログラミング言語で記述しておくと、イベントが発生した時にその関数が実行されるというもの。 今回発表されたAWS Lambdaコンテナサポートにより、コンテナそのものが関数としてイベント発生時に実行されるようになります。 これによりあらかじめ実行したいコードとそのランタイムやライブラリなどをコンテナにパッケージし、AWS Lambdaに関数の代わりに登録することで、AWS Lambdaのアプリケーションが構築で
[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO
はじめに 清水です。はじまっていますre:Invent 2020！すでにたくさんの新サービス登場やアップデート情報が発表されていますが、本エントリでお届けするのはこちら、オブジェクトストレージサービスであるAmazon S3で強い書き込み後の読み込み整合性(strong read-after-write consistency)がサポートされました！すでにすべてのリージョンで利用可能になっています。 Amazon S3 now delivers strong read-after-write consistency automatically for all applications Amazon S3 Update – Strong Read-After-Write Consistency | AWS News Blog Amazon S3 | Strong Consistency |
![[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
はじめに こんにちは。ABEJAのAdvent Calendar3日目を担当している大田黒です。最近、IoTxAIのパワーで会社でキノコを育てているABEJAのエンジニアです。 会社でしいたけ育ててます pic.twitter.com/WhraaF0GCz — たぐろまる@ABEJA Inc (@xecus) November 20, 2019 突然ですが、ある日仕事(きのこ育成)をしていたら某プロダクトの開発メンバーから「将来的に、数千万〜億の数の特徴量データにクエリーをかけて厳密近傍を数十msecで探してくれるマイクロサービスがほしい」みたいな話がポロッと聞こえてきました。「問題設定エグくない?大丈夫?」と思いつつも、ちょっと真剣な顔をしていたので、色々思いを巡らせてみる事にしました。 ※ここでは詳しく語りませんが、社のTechBlogのTechStack紹介記事等をご覧いただくと背景
[レポート] AWS Lambdaを使用したマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO
CX事業本部の佐藤です。 re:Invent 2019 「Building microservices with AWS Lambda」のセッションレポートです。 セッション概要 Many developers have become familiar with building microservices on traditional compute offerings such as virtual machines and containers, but what about serverless? The "functions as a service" model behind AWS Lambda presents a number of unique differences while still providing many benefits that make it a
![[レポート] AWS Lambdaを使用したマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
メンバーが登壇している様子 この度は、4/9(土)~4/11(日)に開催された PHPerKaigi 2022 に4名のメンバーが登壇しました。 今回は、登壇者 4 名からコメントと、他のセッションの感想などをお届けします！ PHPerKaigi 2022 とは 2022/04/09(土) ~ 2022/04/11(月) の 3 日間にわたって PHPerKaigi 2022 が開催されました。今年はオンラインとオフラインのハイブリット開催になります。 BASE はこれまでにも開催されている PHPerKaigi への登壇並びにスポンサードをコミュニティ貢献活動として行って参りました。 登壇者のコメント 川島 (@nazonohito51) TechLeadの川島（@nazonohito51）です。 今回はBASEがサービスとしても組織としても成長していく中で生産性を維持するためのアーキテ
Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料
Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料 サーバサイドやエッジでのJavaScriptランタイムを提供するDenoは、JavaScript/TypeScript用のデータストアである「Deno KV」を、同社の分散ホスティング環境であるDeno Deploy上でオープンベータとして公開したことを発表しました。 DenoはもともとNode.jsよりも優れたJavaScript/TypeScriptランタイム実現する目的で開発されたため、データストアの機能は備えていません。 そのため、Denoでアプリケーションを開発し実行する際には、データを保存するためのデータベースをユーザーが用意する必要がありました。 そこで、今年（2023年）5月に、Denoに統合されたデータストアとして
Kotlinエバンジェリストとなった僕を形作ったのは、人との出会いが9割と、1割の“運を引き寄せる努力” - Findy Engineer Lab
結局、大切なのは人との出会いです。いわば運です。僕のこれまでのキャリアを振り返ると、それなりに努力してきたつもりではありますが、それ以上にキャリアの転換期になったのは人との出会いや運が影響しています。より正確には、運を引き寄せる努力もしてきた結果、今の自分があるといえるでしょう。本記事では将来ソフトウェアエンジニアになろうとしている人や、既にキャリアを歩み始めてはいるが年数の浅い人を対象に、僕の経験を交えながらどのように幸運を手繰り寄せたのかについて紹介します。 申し遅れました。長澤太郎（@ngsw_taro）と言います。ぜひ「たろう」と呼んでください！Kotlinエバンジェリストを自称し、日本全国での講演や、書籍の執筆などを通じてKotlinの楽しさを広めています。また、現在はSotas株式会社の外部CTOを務め、過去にはいくつかの企業で技術顧問やアドバイザーを務めていました。本業はUb
アメリカ「権力者・セレブ・政治家はいくらネタにしてもいい」 ウィル･スミス平手打ち擁護に見る日米の差 : 痛いニュース(ﾉ∀`)
アメリカ「権力者・セレブ・政治家はいくらネタにしてもいい」 ウィル･スミス平手打ち擁護に見る日米の差 1 名前： (帝国中央都市) [US]：2022/04/02(土) 16:05:26.71 外見へのジョークでも許容されるワケ 日本では、他人の外見、とりわけ病気による外見をジョークのネタにしたロックへの怒りが強いように見受けられる。だが、アメリカではそこへの抵抗は薄い。コメディアンらは一斉にロックへの支持を表明したし、この出来事の後、ロックのショーのチケットの値段が高騰したことを見れば、一般人の多くもロックの味方であることがうかがえる。 なぜなのか。ロックが言ったジョークは、悪趣味かもしれない。しかし、強者が弱者を笑うものではないからだ。もしロックが白人だったなら、彼は大バッシングを受け、しばらく仕事を干されることになったはずである。アメリカではここのところがとても重要だ。 黒人が白人を
「マイクロサービスで最も難しいのがデータ同期の問題」。アクセンチュアの福垣内孝造テクノロジーコンサルティング本部 テクノロジーアーキテクチャグループ クラウドソリューションアーキテクトがこう話すように、マイクロサービス化を突き詰めていくと、データ同期を避けては通れない。 マイクロサービスでは小さなサービスを疎結合に連携することで、システム変更のスピードアップを図る。そのために、サービスごとに独立したデータソースを持つのが理想だ。サービスの疎結合を保ちながらデータソース間でどうやってデータを同期するのか、代表的な手法を見ていこう。 マイクロサービスでは結果整合性が基本 従来の企業システムはトランザクション制御によりデータ同期を求めるユースケースが多い。特に基幹系システムでは、注文と在庫、入金と出金などデータの整合性を厳密に図る必要がある。 これに対してマイクロサービスでは「トランザクションの
AWS、新たな独自プロセッサ「AWS Trainium」発表。機械学習のトレーニング処理に最適化、テラフロップス級の性能を発揮。AWS re:Invent 2020
Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、機械学習のトレーニング処理に最適化した独自プロセッサ「Trainium」を発表しました。 Trainiumは、TensorFlow、PyTorch、MXNetなどの主要な機械学習ライブラリに対応し、機械学習のトレーニング処理でテラフロップス級の性能を発揮。 従来のプロセッサやGPUを用いた場合よりも高速で安価なトレーニング処理を実現するとしています。 AWSは2年前のAWS re:Invetn 2018で、機械学習の推論処理に最適化した独自プロセッサの「Inferentia」を発表、昨年投入しています。 推論処理のInferentiaと学習処理のTrainiumは同じAWS Neuron SDKを利用でき、トレーニング処理によって作成されたモデルを簡単にInfen
［速報］AWS、ピザボックスサイズのAWS Outpostsなど小型化した2機種を発表。AWS re:Invent 2020
Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、オンプレミスでAWSを利用可能なアプライアンスを小型化した「AWS Outposts」2機種を発表しました。 昨年発表したAWS Outpostsは、24インチ幅で高さ80インチのラック一杯にシステム一式が搭載された大型のシステムでした。 今回発表されたのは小型化され、高さが1.75インチ（1U）と.35インチ（2U）の2機種。 64vCPU、128GBメモリ、4TB NVMeストレージを搭載。1Uの方にはAWSが独自に開発したAWS Graviton 2プロセッサを搭載予定で、2Uの方はインテル製プロセッサが搭載予定。 どちらもAWSのマネージドサービスとして提供され、Amazon EC2、ECS、EKSワークロードなどに対応します。 筐体が小型化されたことで限
レッドハットのソリューションアーキテクトの森です。 マイクロサービスについて、前回はそのアーキテクチャの概要から利点、そして課題についてまとめました。今回はマイクロサービス間のデータ同期の手法についてご紹介していきます。 前回の記事はこちらです。 rheb.hatenablog.com Outboxパターン と Change Data Capture によるデータ同期 マイクロサービスにおいては、基本的には各サービスとデータベースは1:1とするモデルを推奨しています。そのため、サービス間のデータベースの同期を取るしくみについて考慮が必要です。データベース間の同期を取るための方法の1つとして、データベース処理とメッセージを併用する Transactional Outbox と Transactionlog tailing があります。 Transactional Outbox の実体はデータ
Sagaパターンについて - Qiita
概要 マイクロサービスでは、移行する際にシステム移行に伴うDBの分解が発生した場合に、分散トランザクションは推奨していません。参照: マイクロサービスに移行した際の分散トランザクションの危険性 簡単に説明するなら分散トランザクションは、不具合となる危険性がある為です。 そのため、マイクロサービスで複数のリソースの結果整合性を利用する方法として、Sagaパターンがあります。 Sagaパターンとは Sagaパターンとは、結果整合性を使ったアーキテクチャの1つであり、複数の状態変更を調整できリソースを長時間ロックすることがないよう設計されたアーキテクチャパターンです。「Sagaの元々のアイデアは、Hector Garcia MolinaとKenneth Salemによって発表された論文から生まれました。」 もう少し詳しく説明すると、結果整合性を担保したい範囲を１つのローカルトランザクション(擬似
TypeScriptによるGraphQLバックエンド開発 ──TypeScriptの型システムとデータフローに着目した宣言的プログラミング - TECH PLAY Magazine
一休のSaaSサービス「RESZAIKO」開発チームは、フロントエンド開発における時系列に基づく状態遷移、宣言的プログラミングをバックエンド開発に採用。開発時のアーキテクチャやコンテキストのギャップを軽減するチャレンジに挑んだ。その取り組みやアーキテクチャについて、CTO伊藤直也氏が語った。 きっかけは、フロントエンドとバックエンドの技術的関心事のギャップ 株式会社 一休 執行役員 CTO 伊藤 直也氏 今回のイベントで、「RESZAIKO」のバックエンドチームでチャレンジした開発手法について語ってくれたのは、株式会社一休のCTOを務める伊藤直也氏だ。伊藤氏はまず、今回のTypeScriptでのGraphQLバックエンドを開発するに至った背景を、「フロントエンドとバックエンドの技術的関心事と開発スタイルのギャップ」だと切り出す。 例えば、フロントエンドがReactで開発した場合、React
学習しやすいパターンが満載！ ドメイン駆動設計をやさしく学べる入門書！ 【本書の概要】 本書は、 『エリック・エヴァンスのドメイン駆動設計』（ISBN978-4-7981-2196-3、翔泳社）、 『実践ドメイン駆動設計』（ISBN978-4-7981-3161-0、翔泳社） に感銘を受けた著者が贈る、ドメイン駆動設計の入門書です。 【対象読者】 『エリック・エヴァンスのドメイン駆動設計』や 『実践ドメイン駆動設計』をこれから読もうとしている方、 もしくはすでに読んだものの、「もう少しやさしい入門書も読みたい」 と感じているエンジニアの方を対象としています。 【本書の特徴】 ドメイン駆動設計において、実践が難しいものは後回しにして、 理解しやすい実装パターンからドメイン駆動設計の世界に 飛び込んでもらうことを目的としています。 そこで初心者にとって、理解しやすい、そして実践しやすいパターン
CloudFront KeyValueStoreがリリース。CloudFront Functionsからキーバリューストアを利用可能に！ | DevelopersIO
CloudFront KeyValueStoreがリリース。CloudFront Functionsからキーバリューストアを利用可能に！ AWS向けのCDNサービスCloudFrontがCDNエッジ向けのグローバルかつ低遅延なキーバリューストアAmazon CloudFront KeyValueStoreをリリースしました。 CloudFront向けエッジ･コンピューティングサービスのCloudFront Functions(CF2)から利用出来ます。 CF2はLambda@Edge(L@E)に比べて速くて安いといったメリットもありましたが、CloudFront Functions関数内に閉じた簡易的な文字列操作しか出来ませんでした。 そのため、豊富なライブラリのインストール、さらには、インターネットアクセス(DB接続)も可能なL@Eに比べて、処理内容が限定的でした。 今回のアップデートに
はじめに こんにちは。ブランドソリューション開発部プロダクト開発チームの木目沢とECプラットフォーム部カート決済チームの半澤です。 弊社では、ZOZOTOWNリプレイスプロジェクトや新サービスで、Amazon DynamoDBを活用することが増えてきました。そこで、AWS様から弊社向けに集中トレーニングという形でDynamoDB Immersion Daysというイベントを開催していただきました。 今回は、2021年7月6日、13日、14日の3日間に渡って開催された当イベントの様子をお伝えします。 7月6日のDay1及び、14日のDay3の様子をDay1のサブスピーカーとして参加した木目沢がお届けします。13日のDay2を同じくDay2にてサブスピーカーとして参加しました半澤がお届けします。 目次 はじめに 目次 Day1（2021年7月6日） Amazon DynamoDB Archit
AWSサーバーレスサービスのオンデマンドモードの特徴・比較・まとめ・プロビジョニングモードとの違い －DynamoDB、Kinesis Data Streams－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSのサーバーレスサービスの一部でプロビジョニングモードに対して用意されているオンデマンドモードについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 オンデマンドモード使える主なAWSサーバーレスサービス Amazon DynamoDBオンデマンドモード Amazon DynamoDBの概要 Amazon DynamoDBオンデマンドモードの特徴 Amazon DynamoDBオンデマンドモードの設定項目 Amazon DynamoDBオンデマンドモードの料金 オンデマンドモードとプロビジョニングモードの料金比較 Amazon DynamoDBオン
概要 こんにちは。サーバーサイドエンジニアの窪田です。 これまでの戦術的DDDについて以下のような記事で紹介してきました。 戦術的DDDをGoで実現する【entity編】 - Yappli Tech Blog 戦術的DDDをGoで実現する【Value Object編】 - Yappli Tech Blog Deep Moduleという観点から戦術的DDDのRepositoryの設計を考えてみた - Yappli Tech Blog 今回は戦術的DDDにおけるトランザクションの扱いについて注目します。 トランザクションは一見インフラ層の関心ごとなのでインフラ層で完結するように思えますが、DDDの本にある例では、ユースケース層で張っているソースコードの例が紹介されています。 なぜ、そのような設計になるのかを考えていきます。 DDDとトランザクションの関係 DDDとトランザクションは実は深い関係
最近VercelがEdge Functionsを発表したり、RemixがCloudflare workersでのデプロイをサポートしたりとエッジコンピューティング周りが何かと熱い気がしている。 FastlyやAWSなど代表的なものはいくつかあるが、その中でもCloudflare workersが色んな機能リリースしたりしてて個人的には興味深かったので、今回はCloudflare workersについて調べたことを簡単にまとめてみる。 特にCloudflare workersの0ms cold startsの実現方法が面白かったのでこれについて取り上げる。 エッジコンピューティング エッジコンピューティングの詳細な説明は割愛するが、サーバーに到達する前にCDNで処理をしてクライアントにレスポンスするのでレスポンスがかなり速いことが特徴。 現時点で代表的なエッジコンピューティングには以下のもの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
退職のお知らせ
AWS CloudFormationの最近の変更点 - Qiita
他社のクラウドサービスからシェアを奪うためのCloudflareの戦略は囲碁に似ているという分析
複数組織間のデータ持ち寄り、共有とエンタープライズブロックチェーン - 空谷に吼える
マルチクラウド構成におけるMySQL Group Replicationの利用事例紹介
FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介
Modular Monolith(モジュラーモノリス)についてまとめる
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
個人的なアプリケーション設計のバイブル3選 - Runner in the High
ElastiCacheは良いサービス！！特徴や使い方をおさらいしましょ！ | DevelopersIO
Goでゆるふわ特徴量検索エンジンを作り始めたYO - Qiita
PHPerKaigi2022に4名のメンバーが登壇しました - BASEプロダクトチームブログ
マイクロサービスの最難関「結果整合性」、許容できるのは誰か
アプリケーション・モダナイゼーション： マイクロサービス間のデータ同期 - 赤帽エンジニアブログ
ドメイン駆動設計入門 ボトムアップでわかる！ドメイン駆動設計の基本 | SEshop.com
DynamoDB Immersion Days 参加レポート - ZOZO TECH BLOG
【戦術的DDD】なぜトランザクションをユースケース層で張るのか - Yappli Tech Blog
Cloudflare Workersの0ms cold startsのしくみ - すな.dev