7年続いたサービスをEC2構成からECS構成へ乗り換えた話 - KAYAC engineers' blog
この記事は Tech KAYAC Advent Calendar 2021 の20日目の記事です。 こんにちは、バックエンドエンジニアの @commojun です。今年のTech KAYAC Advent Calendarは3度めの参戦です！よろしくお願いいたします！ 本日の記事は、昨年の記事の続きで、Amazon EC2のプロダクトをAmazon ECS構成へと乗り換えた話になります！ techblog.kayac.com 目次 目次 背景 Amazon Linuxのサポート終了 ついでにPerlのバージョンもあげた 苦労したポイント 1，デプロイ方法がめっちゃ変わる デプロイのために都度コンテナイメージを焼く 2階建て作戦 2，batchサーバどうするの問題 sqsjfr + SQS + sqsjkr 作戦 3，泥臭い戦い ecspressoの存在 非エンジニアにもわかってもらおう 「
サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第一回〜べき等性 (冪等性/idempotency) ってなんだ!? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
そもそも、べき等性とは、どういうことを言うのでしょうか ? これは「ある操作を 1 回行っても複数回行っても結果が同じである」ことをいう概念です。 例えば、注文処理を考えます。画面インターフェースで、注文確定 / 送信ボタンを押すという操作で二度三度押してしまうユーザーがいます。これで同じ内容の注文が複数回登録されてしまったら問題です。こういったケースでは、画面側で連続して押せないような実装を追加したり (①)、サーバー側で同じ注文の処理であることを認識して適切に一つの処理と判断するようなこと (②) が必要です。 この例では、画面側の制御を入れたほうが簡単なように見えます。しかし、現実には画面とサーバーとの間のネットワークの問題や画面以外からの HTTP コールなどを考えると、このような重複リクエストが起こってしまうという可能性はゼロではありません。 このようなものへの対処として、サーバ
メルカリは機械学習に「AWS×Kubernetes」をどう使っている？ CTOが仕組みを解説
日本国内での取引件数が累計5億件、月間アクティブユーザー数が1350万人を突破するなど、成長を続けるフリマアプリ「メルカリ」。人気の要因の1つが、出品物をスマートフォンのカメラで撮影すると、AIが商品名やカテゴリーなどを推測して自動入力する「AI出品」など、テクノロジーを活用した機能を多く備えていることだ。 「（各機能を実現するため）メルカリはAIと機械学習に力を入れ、随所で活用している。その理由は、個人間取引では、商品データにゆらぎがあり、データを画一的に扱えないことが多いためだ」。メルカリの名村卓CTO（最高技術責任者）は、アマゾン ウェブ サービス ジャパンがこのほど開いた技術説明会に登壇し、こう説明した。 例えば、メルカリで同じ機種の「iPhone」が売られている場合でも、液晶画面が割れているものから新品同様のものまで、状態はさまざまだ。それらを同じ機種だと判断できるレベルまで画像
10分くらいでわかる、KubernetesとEKSの何が便利なのか - Qiita
注意 この記事は、実運用したことのない、Kubernetes初心者が調べた結果に基づき作成しています。 間違い・誤解などありましたら、コメントや編集リクエストでご連絡ください。 TL;DR / 結論から先に言うと コンテナをクラウドでそのまま動かそうとすると困る n台動かしたいコンテナが、今クラウド全体で何台動いているのかとか デプロイするときに、コンテナを立ち上げたり落としたりする順番・タイミングとか コンテナに割り当てるロードバランサ、ストレージなどの作成とか 他にもいろいろ Kubernetesはクラウド全体のコンテナ周りを一元管理してくれるので便利 どの環境で、どんなコンテナがどれだけ動いているかとか、把握してくれるので便利 コンテナ周りをどんな構成にしたいか、yml形式で書いてkubectlコマンドで渡す 運用者の指示した形になるように、コンテナ周りを一元的に操作してくれるので便
PayPayが100億円キャンペーンのシステムトラブルで得た教訓とは？
「100億円あげちゃうキャンペーン」でキャッシュレス決済市場に一大旋風を巻き起こしたスマートフォン決済「PayPay」。PayPayのシステムはAmazon Web Services上に構築されている。 今年6月に開催されたAmazon Web Servicesの年次イベント「AWS Summit Tokyo 2019」で、PayPayのエンジニアである山本啓介氏とshilei Long氏が、PayPayのシステム構築に関する講演を行った。講演の後は、山本氏に直接話を聞く機会を得た。 本稿では、講演とインタビューをもとに、PayPayが100億円キャンペーンによって生じたシステム障害から学んだ教訓についてお届けしたい。 PayPay プロダクト本部 テクノロジー1部 部長 山本啓介氏 3カ月でQRコード決済サービスをローンチするために 2018年10月にサービスの提供を開始したPayPay
AWS Fargateを本番運用した所感 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF
HIGOBASHI.AWS 第7回 コンテナ実践勉強会で「ECS本番運用してみてわかったこと。」のタイトルで話しました #higobashiaws | DevelopersIO
西田@大阪です。今回は HIGOBASHI.AWS 第7回 コンテナ実践勉強会 で「ECS本番運用してみてわかったこと。」というタイトルで発表しました。 登壇資料 モバイルバックエンドのAPIをECSで本番運用してみてのノウハウ、筆者視点のでおすすめを、話させていただきました。 Dockerを使うモチベーション ECS(on EC2)を選ぶ理由 ECS基本プラクティス CI/CD Blue / Green デプロイ さいごに 多くの方にご参加いただきありがとうございました。懇談会でも、ECSを検討中の方や、本番運用でばりばり使われてるという方もいらっしゃって、まだまだ注目度の高い技術なんだなと感じました。HIGOBASHI.AWSは今後も開催させていただきますので、よろしくおねがいします。
４大クラウドKubernetesサービス比較（2018年10月18日）
グローバル展開するクラウド・ベンダーを対象にKubernetesサービスのスペックを比較しました。追加・修正ありましたら随時更新しますのでコメント欄にてお知らせください。
AWSにおけるマイクロサービスのオートスケーリング -Part1 – FiNC Tech Blog – Medium
1. イントロダクションFiNCでは、機能追加、バグ修正、技術負債の解決などの開発活動の大幅な増加に対処するため、マイクロサービスアーキテクチャを採用しています。 FiNC のほとんどのサービスでは Ruby on Rails を使用しており、Amazon ECS で、コンテナ化したアプリとしてデプロイしています。 モノシリックアプリケーションと同様に、マイクロサービスも、ピーク時にはスケールアウトし、そうでない時にはスケールインする必要があります。（言うまでもなく、スケールアウトはより多くのリクエストに対応することであり、スケールインはコンピューティングリソースを解放し、コストを節約することです。） この記事では、私たちがFiNCで採用している方法について説明します。 2. インフラアーキテクチャインフラアーキテクチャは大凡以下のようになっています。 図1 インフラ・アーキテクチャリアル
Kubernetesのない世界 すべてがサーバーレスになる
Japan Container Days: 「今こそKubernetes。最高の仕事道具で使いこなそう」by capsmalt タイトル: 今こそKubernetes。最高の仕事道具で使いこなそう スピーカー: Kazufumi Saito (IBM) 2018年4月19日開催「Japan Cotainer Days v18.04」 https://containerdays.jp/
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ | CyberAgent Developers Blog
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン
サーバレス、CaaS、PaaS――それぞれの利点と欠点
サーバレス、CaaS、PaaS――それぞれの利点と欠点：【完訳】CNCF Serverless Whitepaper v1.0（２）（1/2 ページ） 本連載では、サーバレスコンピューティングの概要とユースケース、コンテナオーケストレーションやPaaSとの使い分け方などを分かりやすく解説した、Cloud Native Computing Foundationのホワイトペーパーを完訳してお届けする。第2回は、コンテナオーケストレーション、PaaS、サーバレスの3つのクラウドネイティブアプリケーションプラットフォームについて、それぞれの想定ユーザー、長所と短所などを説明した部分を掲載する。 【完訳】CNCF Serverless Whitepaper v1.0 連載バックナンバー 本連載では、サーバレスコンピューティング（以下、サーバレス）を解説したCloud Native Computing
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」#devsumi ｜ Developers.IO
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け
KafkaとAWS Kinesisの比較
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.Read less
AWS X-Rayで非同期メッセージをトレースする - Qiita
Microservicesを構築するにあたり、各サービス間のメッセージのやりとりに、非同期処理を使うことがあると思います。 その非同期処理をぱっと簡単にトレースしたいとかってあると思いますが、それを、Serverlessにやってみたってお話です。 やりたいこと こんな流れを想定しています。 最初のLambdaから、SQSにメッセージを送信し、SQSをcronで起動されたLambdaがポーリングして、メッセージを取得したあと、なんしかの処理をした後、DynamoDBにデータを永続化します。 実際のX-Ray こんな感じで出力されます。 ぱっと見でうまいことトレースができている様子ですが、実際には、publishしたメッセージがsubscribeした側との繋りがなく、トレースができているようでいて、できていません。 上図のように、publishのトレースを見てみると、SQSにメッセージを送信し
なぜAmazonはマイクロサービスに舵を切ったのか？
JAWS FESTA 中四国 2017は数々のサポーター企業のおかげで開催できたイベント。その中でもやっぱりここは外せないよねっていう営業的な意味合いは実はなかったのだけど、「AWS誕生秘話」というタイトルに惹かれてAWSのサポーターセッションを聴講した。AWSに触れはじめて2年ほどの筆者にとっては「へえー」と思う話。すでに知っていたという人も、これを機にAWSの成り立ちを振り返ってみてほしい。 当初、モノリシックなアーキテクチャだったAmazon.com セッションを担当したのは、AWSの亀田 治伸さん。JAWS-UG札幌でもお会いしたので、1ヶ月も経たずに再会だ。札幌ではここ半年のAWSアップデートを駆け足で紹介するという最新情報セッションを展開した亀田氏だが、今回は打って変わって「AWS誕生秘話 AmazonがAWSを生み出した背景 ～マイクロサービスアーキテクチャとDevOpsの基
Terraform で ECS環境構築ハンズオン - Qiita
This article is a Private article. Only a writer and users who know the URL can access it. Please change open range to public in publish setting if you want to share this article with other users. 概要 Terraform でAWS（ALB~ECS~RDS）環境構築します。 ● 「ECS（Elastic Container Service）」 ● 「オートスケーリング＆ヒーリング」 ● 「Docker」 ● 「Kong（APIゲートウェイOSS）」 等に触れてみましょう。 このハンズオンで体験できること STEP ①： Terraform でAWS（ALB~ECS~RDS）環境構築 STEP ②：
Envoy (Envoy proxy)、Istio とは？ - Qiita
Microservices Advent Calendar 2017 14日目の記事です。 今回は、EnvoyとIstioという、microservicesの文脈でよく出てくるツールの紹介です。 https://www.envoyproxy.io/ https://istio.io/ どちらも立派な公式ページ/ドキュメントがあり、紹介も何もあったもんじゃないと思われるかもしれませんが、公式ドキュメント上では、とてもたくさんの概念と機能が紹介されていて、私にはこの２つが一体何物なのか中々掴めなかったので、私なりの理解での言葉に置き換えて説明したいと思います。 tl;dr Envoyはmicroservicesなシステムを作るときに必要な機能を提供してくれるside-car proxy。 Istioはenvoyをkubernetes上で使うのを助けてくれるツール。(将来的にはkubernete
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
金融系サービスで ECS/Fargateを設計するということ
コンテナを守る技術2018/container-security-20180310
