グループ会社のインフラをECS/Fargateに移行して振り返る | ランサーズ（Lancers）エンジニアブログ
皆さん元気ですか！？SREチームの@adachin0817です。去年から行っていた移行プロジェクトで、グループ会社である、シクロマーケティング株式会社の「ミギウデ」をさくらVPSからAWSへ移行しました。今回、移行背景やECS/Fargateでのコンテナ運用について簡単にご紹介と振り返りを行ってみたいと思います。 なぜAWSへ移行するのか AWSへ移行すると冗長性の担保などが挙げられますが、一番は開発環境やインフラなど、すべてランサーズに統一させるということが第一の目的です。それに伴い、ミギウデ自体のサービスがシンプルなインフラ構成ということもあり、インフラ運用の手間をなくしたいということから、ECS/Fargateで初の外部サービスとしてコンテナ運用にチャレンジしてみようとなりました。 目的とコンテナ化にするメリット ・内部統制対応 ・S3、RDSを利用したバックアップ ・CloudWa
Fargate環境でembulkを使ってMySQLからBigQueryへのマスタデータ転送 | GREE Engineering
住まい暮らしメディアLIMIAで開発を担当している樋口です。 LIMIAではBigQueryを使ってデータ分析を行なっています。 ログデータについてはFirebase Analyticsに送信したデータをBigQueryへ書き出しています。 マスタデータについてはMySQLに格納されており、それをBigQueryへ送信する必要がありました。 embulkをfargate環境で動かすことで実現したため、それについて共有します。 embulkについて embulkはデータローダです。 fluentdのバッチ版と言われており、オープンソースで開発されています。 fluentdと同じようにプラグインを導入することで、様々なデータソースに対応しています。 LIMIAでは入力をMySQL、出力をBigQueryとしています。 そのため、プラグインとして embulk-input-mysql と emb
AWS Fargateを本番運用した所感 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF
社内PCでホスティングされていたRedashをFargateに移行してみた - ZOZO Technologies TECH BLOG
こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。 私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。 このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。 メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。 このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。 移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。 この記事ではawsに構築した環境や、移行作業などを紹介します。 移行前のRedash 移
AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ
Amazon ECS（以下ECS）とFargateを用いて、今までEC2で運用されていたサービスをコンテナ化してECS上で稼働させるプロジェクトをしました。 特に、Fargateは2018年7月3日にTokyoリージョンで使えるようになったばかりなので、情報がまだまだ少なく手探りの状況でした。 Posted On: Jul 3, 2018 AWS Fargate is now available in Asia Pacific (Tokyo) region. https://aws.amazon.com/about-aws/whats-new/2018/07/aws-fargate-now-available-in-tokyo-region/ ECS/Fargateで実現したアーキテクチャ・デプロイ方法の全容とその実装方法を記していきます。以下のスライドにもまとめているのでぜひご覧ください
CodePipeline/CodeBuild/ECR/ECS/Fargateのコンテナデプロイ基盤を構築してみました - LCL Engineers' Blog
モバイルアプリエンジニアの山下（@yamshta）です。 今回は、AWSの以下のサービスを用いてコンテナデプロイ基盤の構築を試してみました。 CodePipeline CodeBuild ECR ECS Fargate AWSのドキュメントは丁寧で情報も豊富ですが、サービス毎に手順が書かれているため一連の流れをまとめました。CLIでの操作のみで手順を進めています。 なぜアプリエンジニアがデプロイ基盤を構築するのか 疑問に思った方もいらっしゃると思うので手短に書かせていただきます。 LCLのエンジニアチームはスペシャリスト集団というよりはゼネラリスト集団に近く、特定の技術に縛られない文化とそれを推奨する環境になっています。そのため、メインに扱う技術力も伸ばしながらも別の技術を習得することができます。 今回の経緯ですが、私個人としてはインフラには興味がありませんでした。しかし、Dockerは環
AWS FargateとDocker Composeで簡単分散RSpec | GREE Engineering
AWS Fargate早く東京に来てくれという願いをこめて、東京で1つでも事例を増やそうと記事を書いていたら公開する前にAWS Fargateが東京に来ることが先日発表されました！めでたいです。アリネ事業部の平田です。 今日はARINEで使っていく(かもしれない) AWS Fargate を使ったRSpecの実行環境の話と、Docker Compose使っているならFargateいいかもしれませんよ、という話をします。 背景 アリネ事業部では、なりたい自分がきっと見つかる美容メディア ARINE を運用しています。 ARINEのサーバサイドはRubyで書かれており、ウェブアプリケーションフレームワークはRuby on Railsを採用し、テストにはRSpecを使っています。 テストは徐々に増えており現在テストが1000件ほどで、テストにかかる時間も徐々に長くなり、完走するのに10分以上かか
コンテナデプロイ基盤の検証 - Hatena Developer Blog
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
AWS Fargateの素晴らしさをチュートリアルで体験する
はじめに こんにちは。千葉です。皆さん、AWS Fargateってご存知ですか？ AWS Fargateとは、一言でいえば「ホストの管理なしにコンテナを動かすためのサービス」です。AWSにはAmazon ECSという、EC2インスタンスの上でコンテナを動かすためのサービスがあるのですが、これはAmazon ECSの利用者がEC2インスタンスのことを考える必要がありました。「これ以上コンテナを増やしたらメモリが不足しそうだから、EC2のインスタンスタイプを変えようかな」とかです。 しかし！AWS Fargateを使えばEC2インスタンスのことなんか考えなくてよくなります。コンテナに割り当てるCPUとメモリ、あと少しの情報を入力すれば、コンテナが起動します。なんて楽なんでしょう！なんて素晴らしいんでしょう！ というわけで、是非皆様にもAWS Fargateの素晴らしさを知っていただきたく、AW
AWS Fargateとは？ - Qiita
本記事は個人の意見であり、所属する組織の見解とは関係ありません。 こちらはAWS Fargate Advent Calendar 2017の12/1分の記事です。 AWS re:Invent 2017のKeynoteにて、Andy Jassy CEOからAWS Fargateの発表が行われました。以下がリリースブログからの抜粋になります。 AWS Fargateは、コンテナをデプロイする最も簡単な方法です。端的に言うと、FargateはEC2に似ていますが、仮想マシンを提供する代わりに、コンテナを提供します。これにより、下回りとなるインスタンス群の管理をせずとも、コンテナを基本的な計算単位として利用することができる技術です。やるべきことは、コンテナイメージ構築し、CPUやメモリの要件を指定し、ネットワークやIAMポリシーを定義し、そしてコンテナを起動することです。Fargateでは、アプリ
AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 | Amazon Web Services
Amazon Web Services ブログ AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 コンテナは、開発者がアプリケーションを開発・パッケージ・デプロイするのに強力な手法の１つです。AWSでは、十万以上のアクティブなECSクラスタが稼働しており、毎週数億の新しいコンテナが起動しています。これは、2016年からすると400%を超えるお客様成長率です。Amazon ECSやKubernetesといったコンテナのオーケストレーションソリューションは、コンテナワークロードのデプロイ・管理・スケールをより容易にし、敏捷性を増します。しかし、それらのどのソリューションも下回りとなるインフラストラクチャの可用性、キャパシティやメンテナンスを行う必要が依然としてあります。AWSにおいて、私たちはこれを差別化とならない重労働を取り除く機会と考えました。私たちは、コン
AWS Fargate 東京リージョン サービス開始のお知らせ | Amazon Web Services
Amazon Web Services ブログ AWS Fargate 東京リージョン サービス開始のお知らせ みなさん、こんにちわ。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Summit Tokyo 2018の基調講演にてアナウンスしました、AWS Fargate の東京リージョン対応ですが、サービスが開始されましたのでお知らせいたします。 AWS Fargate は Amazon Elastic Container Service (ECS)の1モードとして動作しますので、マネージメントコンソールから「Elastic Container Service」を選択し、「クラスターの作成」をクリックすると、クラスターテンプレートとしてAWS Fargate を選択できるようになっています。 AWS Fargate は従来の ECS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Fargate（サーバーやクラスターの管理が不要なコンテナの使用）| AWS