ZOZOTOWN のショッピングカート移行プロジェクトを支えた Amazon DynamoDB | Amazon Web Services
Amazon Web Services ブログ ZOZOTOWN のショッピングカート移行プロジェクトを支えた Amazon DynamoDB このブログでは、リレーショナルデータベース管理システム (RDBMS) のパフォーマンスの問題があった e コマースサイトのケーススタディと、Amazon DynamoDB がソリューションにどのように貢献したかを解説します。ZOZOTOWNには大規模な販売イベントがあり、サービスに何か問題が起きた時に対応するため、エンジニアがリアルタイムで監視を行なっていました。DynamoDB によって ZOZO はエンジニアリングのオーバーヘッドを 85.8% 削減できました。また、DynamoDB のベストプラクティスもいくつか紹介します。 この投稿は、日本有数のファッションオンライン取引サイトの1つであるZOZOTOWNのDynamoDB利用に焦点を当て
AWS ALBの運用豆知識 | 外道父の匠
たいした諸事情なわけでもないですが、だいぶ更新を空けてしまいましたので、ささやかなことからコツコツと書いていこうかと思います。 今回は、ALB(Application Load Balancer)の運用で得られた豆知識の記録です。 暖機運転の豆知識 申請の必要性 ALBはトラフィックが増加しても自動的に拡張して対応してくれますが、急激に増加すると拡張が間に合わずにキャパシティオーバーとなって、ALBがエラーを返してしまう可能性があります。そのため、事前にこのくらい跳ね上がりますので暖めて馴染ませておいてください。ってのが暖機運転（Pre-warming）です。 基本的には事前に申請して扱う仕組みですが、想定よりトラフィックが多くなり、エラーが多発し、数十分・数時間も解決しない場合もこの申請をすることがあります。この場合、ALBが自動拡張してくれない ＝ 何か他に問題がある 可能性が高いので
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
Amazon ECS でのコンテナデプロイの高速化
Amazon ECS でのコンテナデプロイの高速化 この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション
Deploy applications on Amazon ECS using Docker Compose | Amazon Web Services
Containers Deploy applications on Amazon ECS using Docker Compose Note: Docker Compose’s integration with Amazon ECS has been deprecated and is retiring in November 2023 There are many reasons why containers have become popular since Docker democratized access to the core Linux primitives that make a “docker run” possible. One reason is that containers are not tied to a specific infrastructure or
Best Practices for Amazon Redshift Spectrum | Amazon Web Services
AWS Big Data Blog Best Practices for Amazon Redshift Spectrum November 2022: This post was reviewed and updated for accuracy. Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries on data that is stored in Amazon Simple Storage Service (Amazon S3). With Amazon Redshift Spectrum, you can extend the analytic power of Amazon Redshift beyond the data that is stored natively in Amazon
AWS Glueデータカタログのスキーマが後から変更された際の挙動について調べてみた | DevelopersIO
Terraformのテンプレート variablesの部分をお好みで変更してください。 # Terraform Setting terraform { required_version = "0.12.6" } # Provider provider "aws" { region = "ap-northeast-1" } # Kinesis Firehose resource "aws_kinesis_firehose_delivery_stream" "firehose_delivery_stream" { name = "${var.firehose_name}" destination = "extended_s3" extended_s3_configuration { bucket_arn = "${aws_s3_bucket.s3_bucket.arn}" buffer_int
社内PCでホスティングされていたRedashをFargateに移行してみた - ZOZO Technologies TECH BLOG
こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。 私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。 このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。 メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。 このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。 移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。 この記事ではawsに構築した環境や、移行作業などを紹介します。 移行前のRedash 移
EKS マネージドノードグループの IP 割り当てに対する今後の変更 | Amazon Web Services
Amazon Web Services ブログ EKS マネージドノードグループの IP 割り当てに対する今後の変更 Amazon EKS を使用する場合、すべてのノードは、EKS がホストする Kubernetes クラスターと、Amazon Elastic Container Registry (ECR) や Amazon S3 などの他の AWS API に接続できる必要があります。ノードはプライベートサブネットまたはパブリックサブネットで実行できます。プライベートサブネットの場合、このトラフィックは通常、AWS PrivateLink 接続を経由して、VPC または NAT ゲートウェイ内のエンドポイントに到達し、VPC の外部のエンドポイントに到達します。パブリックサブネットの場合、VPC の外部の API エンドポイントに到達するには、ノードにパブリック IP が割り当てられて
AWS Step FunctionsのCallback PatternsでCodeBuildをステートマシンに組み込んでみた - Qiita
AWS Step FunctionsのCallback PatternsでCodeBuildをステートマシンに組み込んでみたAWSCodeBuildstepfunctions 先日、AWS Step FunctionsでCallback Patternsがサポートされ、成功・失敗が通知されるまで指定した箇所でステートマシンの動作を停止させておくことができるようになりました。これによって、ワークフローのある地点で処理を一時停止させ、承認を取ってから処理を続行するといったことができるようになりました。 これを使い、Step Functionsに正式対応していないサービスであっても、擬似的に統合できるのではないかと考え、CodeBuildをワークフローへ組み込めるか試してみました。具体的には、コールバックパターンでLambdaを起動しそこからCodeBuildをキックします。CodeBuildで
サービス統合パターン - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 サービス統合パターン AWS Step Functions Amazon ステート言語でサービスと直接統合されます。3 つの異なるサービス統合パターンを使用して、これらの AWS のサービスを制御できます。 サービスを呼び出し、Step Functions が HTTP レスポンスを取得した直後に次の状態に進むことができるようにします。 サービスを呼び出し、ジョブが完了するまで Step Functions が待機するようにします。 タスクトークンでサービスを呼び出し、トークンがペイロードとともに返されるまで Step Functions が待機するようにします。
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021
Serverless FrameworkのStep Functions用プラグインでAWSサービスプロキシを設定してみた | DevelopersIO
はじめに こんにちは、中山です。 先日積読になっていたAWS Computeのブログを読むという徳の高い行為をしていました。該当のブログは以下です。 Implementing Serverless Manual Approval Steps in AWS Step Functions and Amazon API Gateway Step FunctionsのアクティビティとAPI Gatewayを組み合わせて手動の承認処理を導入するアーキテクチャについて紹介したものになります。大分前の話になりますが、API GatewayのAWSサービスプロキシにStep Functionsが対応した発表を受けて、具体的なユースケースを紹介してくれたようです。 私は文章を読むだけだとあまり理解が進まないので、新しいことを勉強する際には実際に自分で作ってみるようにしてます。後述しますが、アーキテクチャがサ
Streaming ETL with Apache Flink and Amazon Kinesis Data Analytics | Amazon Web Services
AWS Big Data Blog Streaming ETL with Apache Flink and Amazon Kinesis Data Analytics August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. Most businesses
New – Multi-Attach for Provisioned IOPS (io1) Amazon EBS Volumes | Amazon Web Services
AWS News Blog New – Multi-Attach for Provisioned IOPS (io1) Amazon EBS Volumes Starting today, customers running Linux on Amazon Elastic Compute Cloud (Amazon EC2) can take advantage of new support for attaching Provisioned IOPS (io1) Amazon Elastic Block Store (Amazon EBS) volumes to multiple EC2 instances. Each EBS volume, when configured with the new Multi-Attach option, can be attached to a ma
AWS CodeDeploy now supports linear and canary deployments for Amazon ECS | Amazon Web Services
Containers AWS CodeDeploy now supports linear and canary deployments for Amazon ECS AWS CodeDeploy has extended blue/green deployment support for Elastic Container Service (Amazon ECS) to include canary and linear deployments for applications hosted on AWS Fargate or Amazon Compute Cloud (Amazon EC2). Blue/green deployments are a safe deployment strategy provided by AWS CodeDeploy for minimizing i
AWS スポットインスタンスを用いたサービスの平均故障間隔(MTBF)を定量的に評価する | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部の天野です。AWSやGCPを用いたゲームインフラを担当しています。 DeNAが運用している大型ゲームでは、ステートレスなサーバにスポットインスタンスを使用しています。 スポットインスタンスはAWSに中断(=shutdown)されることがある代わりに、コストを大幅に抑えることができるインスタンスです。 AWSのイベントで見かける資料では、定常的な負荷はリザーブドインスタンスや Savings Plans を利用し、さらに負荷が増える部分で万が一落とされても問題ない範囲をスポットインスタンスで運用することが推奨されていたりします。 しかし、DeNA では web、memcached、worker等のサーバにおいて、ほとんどのリソースをスポットインスタンスで運用し、それでいてサービスは絶対に落ちない自信を持っています。 実際に DeNA でスポットインスタンスを本
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービスメッシュは本当に必要なのか、何を解決するのか / Service meshes - Do we really need them? What problems do they solve?
The Twelve-Factor App on AWS
AWS Kinesis vs Kafka comparison: Which is right for you?
