"これはdynamodbでいけるわ"が流行語になった2ヶ月間の備忘録
はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に向けて、わずかながら現場で(汗と血を流しながら)得た知見を共有したいと思います。 主にdynamodbを導入するときに楽できる部分、楽できない、苦労する部分がどんな感じか、この記事でなんとなく伝えられたら嬉しいです。 以下では、4つの項目(採用基準、設計、開発、運用)に分けて、知見を羅列していきますが、私もまだ駆け出しdynamodberの域を出ないので、誤りやアドバイス等ございましたら、是非コメントいただきたいです！ なお、ここで紹介する内容は基本的にはAWSの公式ドキュメン
「1億台の常時接続」を実現せよ！ Nintendo Switchのプッシュ通知システム全面刷新の裏側 (1/3)
アマゾン ウェブ サービス ジャパンは、2024年6月20日と21日、国内最大の年次イベントである「AWS Summit Japan」をハイブリッドで開催。150を超えるセッションが展開された。 本記事では、ニンテンドーシステムズによるセッション「Nintendo Switch向けプッシュ通知システムのリプレイス事例」をレポートする。登壇したのは、同社 システム開発部の林愛美氏と坂東聖博氏だ。 2017年のNintendo Switchの発売とあわせてリリースされた「プッシュ通知システム」。同社は、長期運用を見据えて、よりクラウドネイティブなシステムへのリプレイスを決定するが、大量のTCP接続を維持するための様々な課題が立ちふさがった。 本セッションでは、AWS FargateやNetwork Load Balancer（NLB）といったAWSのマネージドサービスを用いた、“最大1億台”級
「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」というタイトルでAWS Summit Japan 2024のCommunity Stageで登壇しました #AWSSummit | DevelopersIO
「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」というタイトルでAWS Summit Japan 2024のCommunity Stageで登壇しました #AWSSummit AWS Summit JapanのCommunity Stageで登壇した「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」の解説です。 こんにちは、臼田です。 みなさん、AWSセキュリティの勉強してますか？(挨拶 今回はAWS Summit JapanのCommunity Stageで登壇した内容の解説です。 資料 解説 AWSとセキュリティの勉強をしていく時、嬉しいことにAWS関連の情報はたくさんあります。しかし、どの情報から勉強していくか迷いますよね？そこで、AWS Security Heroである私がオススメする「日本語で」学習するための良いA
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみたいと思います。 はじめに 2023年の10月に、Serverless FrameworkがV.4から有料化されることが発表されました。 ライセンス費用を支払いV.4を利用するというのも1つの手ではあるのですが、今回はAWS CDKとAWS SAMへの移行を検討してみたいと思います。 結論 まずは、移行を検討した結果の表を以下にまとめます。 個別の内容については以降の章で説明を実施します。 フレームワーク 利用コスト 移行コスト メリット・デメリット Serverless Frameworkからの移行の総論
EC2でMicrosoft Officeを使うのはライセンス上一筋縄ではいかない話 | DevelopersIO
しばたです。 先日Microsoft Office LTSC入りAMIが提供され実際に試してみた記事を公開しました。 AMIが公開される以前から「EC2でMicrosoft Officeを使いたい。(EC2でExcelを使いたい、などの派生を含む)」という相談をよく受けていたのですが、ライセンス上の問題によりEC2にMicrosoft Officeを導入するのは一筋縄ではいきませんでした。 本記事ではそのへんのライセンス周りの難しさについて注意喚起の意味も込めて解説します。 免責事項 ライセンスの話をするのでいつも通り免責事項を最初に。 【重要】まずはAmazon WorkSpacesで代替できないか検討してください 単純にAWS環境上でMicrosoft Officeを使いたいという事であれば、まずはAmazon WorkSpacesの利用を検討してください。 これはOffice入りAM
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
メタバースの技術限界の解説 - Qiita
これらの試算から、1人あたりのトラッキングによる通信量はおおよそ16.88kbpsから112.50kbpsと考えられます。 スター型ネットワークの場合 ここでメタバースでスター型のネットワークを採用することを考えます。 どのような構成かというと、クライアントがトラッキングデータをサーバーへ送信します。各クライアントへのトラッキングデータの送信はサーバーが行います。 こうした構成を行う場合、全てのクライアントのデータがサーバーを介し、各クライアントへ流れ込みます。そのため、通信速度は下り速度がボトルネックとなります。ここでは人口75%ラインの88Mbpsを上限として考えます。 先ほどの1人当たりのトラッキングに関わる通信量から算出すると、スター型の場合、801～5,340人が通信の限界になります。 フルメッシュ型ネットワークの場合 一方で、サーバーを介しないクライアント同士が直接つながるフル
Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS | Amazon Web Services
AWS Database Blog Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS Caching enables the best user experience for real-time applications. You can build applications that provide sub-millisecond response times by storing the most frequently requested data in an in-memory cache like Redis. On August 30, 2021, we announced the support for migrating your data fr
AWSでAZ障害が起きたので困ったことを書いておく - なんかかきたい
前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わったなどなどの報告が入り、もしかすると面倒ごとかなと思いながら対応することになった。 起きていたこと 既にAWSからも公開されていることであるが、今回は2019年8月に起きた障害と類似するタイプの障害だっ
TerraformがAWS SSO(Single Sign-On)に対応してました | DevelopersIO
上記エントリを書いた際(2020/10/29時点)には、TerraformでAWS SSO(Single Sign-On)のリソースをプロビジョニングすることはできませんでした。が、その後terraform-provider-awsのv3.23.0、v3.24.0で一部リソースのプロビジョニングができるようになりましたので、使ってみたいと思います。 Support for Managing AWS SSO Permission Sets · Issue #15108 · hashicorp/terraform-provider-aws 追加された Resource / Data Source Resource aws_ssoadmin_account_assignment aws_ssoadmin_managed_policy_attachment aws_ssoadmin_permiss
Amazon EC2 を Arm に切り替えたら幸せなことしかありませんでした | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を
個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた - Qiita
結論 「アジリティ」「コスト最適化」「スモールな構成」「開発スピード」という観点でWebアプリケーションのアーキテクチャを考えてみました。 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必要に応じてRESTも簡単に追加できるよ。 補足(2022/04/12) 最近個人開発しているこちらのWebサービスはこのアーキテクチャに沿って作られています。 このアーキテクチャでどんなものができるのよ、という視点で見ていただくと面白いかもしれません。 ↓ 背景 アーキテクチャに絶対の正解はない アーキテクチャには絶対の正解はありません。 なぜなら、プロダクトやフェーズによって求められる要件が異なり、それに適したア
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
日本政府がAWSを採用したからといってデジタル化が進むわけではない理由
Amazon Web Servicesを採用した日本の中央官庁向け共通IT基盤が稼働を開始しました。他の公共機関や、場合によっては民間もクラウド調達の参考にできそうな、新たな調達方法が考案されています。ただし、本当の課題解決はこれからだと考えられます。 「第二期政府共通プラットフォーム」と呼ばれる日本の中央省庁向けクラウドが、Amazon Web Services（AWS）を基盤として稼働しました。これに先立って政府が定めたクラウドサービス調達の枠組みについて、アマゾン ウェブ サービス ジャパンは2020年10月13日、「幅広い公共機関によるクラウド利用のひな型になる」と説明しました。 内閣官房IT総合戦略室と総務省行政管理局が2020年8月に出した「第二期政府共通プラットフォームにおけるクラウドサービス調達とその契約に係る報告書」には、これについていろいろ興味深いことが書かれています。
AWS アーキテクチャー図 構成図を自動生成するソリューションを紹介します | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社 の吉井です。 今回は AWS Perspective を紹介します。 Developers.IO を読んでくださっている方々はシステム担当者(アプリもインフラも)が多いと想像しています。 みなさまは詳細度、解像度の高低はあれどアーキテクチャー図を作成していることと思います。 個人的な意見ですが、作成ドキュメントの弱点は ”更新されないことがある” ことにあると考えています。 変更管理を細かく行っている企業ならそんな心配は要らないかもしれませんが、大抵の場合システム稼働日数が増えれば増えるほどドキュメントは置いてけぼりになりがちです。 それはある意味理解ができてドキュメントは無くてもシステムは動くので、システム構成変更時のドキュメント更新の優先度が下
【レポート】30分で AWS MediaServices の具体的なユースケースを学べる！「AWS メディアサービスを活用したライブ動画配信のアーキテクチャパターン」 #AWSSummit | DevelopersIO
こんにちは、大前です。 AWS Summit Online、みなさま楽しんでいますでしょうか。 本記事はオンデマンドセッションである「AWS メディアサービスを活用したライブ動画配信のアーキテクチャパターン」についてのレポートとなります。 セッション概要 スピーカー アマゾン ウェブ サービスジャパン株式会社 技術統括本部 インターネットメディアソリューション部 ソリューションアーキテクト 廣瀬 太郎 さん 概要 ライブ動画配信に関連する技術トレンドや課題と、動画ワークロードのためのマネージドサービス AWS メディアサービスを利用したライブ動画配信基盤の構築、運用方法、事例をご紹介いたします。AWS メディアサービスは現在 MediaConnect, MediaLive, MediaPackage, MediaStore, MediaTailor, MediaConvert の計 6 つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PCI DSS準拠から学ぶサステナブルなAWSクラウドネイティブの運用 / Sustainable PCIDSS operation on AWS
[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで]![[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5ef06e544c41ba705f887120c121b38dbfccc4/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F95792f1ff5e147a5a32804b5ef5d1fd8%2Fslide_0.jpg%3F19221817)
ECS×Fargateで実現する運用コストほぼ0なコンテナ運用の仕組み/ ecs fargate low cost operation
「そのコンテナ、安全ですか？」〜AWS x DevSecOpsで実践するコンテナセキュリティ〜 / Is that container safe?
