EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する | wapa5pow blog
Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエクスポートします。Digdagと同じDockerコンテナでDigdagのタスクから実行されます。 BigQuery: すべてのエクスポートされたデータをここに集約さ
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021
スタートアップのためのコンテナ入門 – Kubernetes 編 | Amazon Web Services
AWS Startup ブログ スタートアップのためのコンテナ入門 – Kubernetes 編 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 「スタートアップのためのコンテナ入門 – 導入編」「スタートアップためのコンテナ入門 – AWS Fargate 編」という記事を公開してきましたが、Kubernetes に興味があるスタートアップも多いのではないでしょうか。今回は Kubernetes にフォーカスしてお話しします。 なお Kubernetes 以前に、「そろそろコンテナやった方がいいか？」「なんとなく使い始めたけれどこれでいいのか？」「コンテナ自体は分かったけど、サービスでの利用に踏み切れていない」といった漠然とした課題感をお持ちの方は「スタートアップのためのコンテナ入門 – 導入編」から目を通して頂ければと思います。 目次 Kub
AWS Fargate使ってサーバーレスでSelenium+Headless Chromeを実行する - YOMON8.NET
この記事に行き着いた方でしたら、日々自動化を進めている中にも、ブラウザでのクリック、クリック、入力、クリック、みたいな作業が残っている人が多いと思います。 REST等でAPIが公開されていれば良いのですが、そういうAPIが提供されていないサービスもたくさんあります。 ブラウザの自動化でいつもお世話になっているSeleniumですが、一日数回の実行のためにサーバーを立てておくのももったいない。ということで、常時起動のサーバーを立てない方法としてFargateを使ってみることにしました。 やりたいこと シナリオ Dockerイメージ準備 プログラム ベースのイメージ Dockerイメージをビルド ECRへのデプロイ ECRログイン ECRにリポジトリ作成 ECRにイメージをデプロイ ECS(Fargate)へのタスク設定 CloudWatch Logsのグループ作成 クラスタ作成 タスク定義
AWS Fargateのカレンダー | Advent Calendar 2017 - Qiita
The Qiita Advent Calendar 2017 is supported by the following companies, organizations, and services.
AWS Batchを検討したけどAWS Fargateを採用した話 | QUARTETCOM TECH BLOG
はじめに 弊社で開発している Lisket では外部APIに大量のリクエストを行っています。このたび、ビジネス的な要請からアプリケーションの要件を変更することになり、それを機に外部APIへの大量リクエストのインフラアーキテクチャもブラッシュアップすることになりました。 要件は以下です。 バッチ処理の主な振舞は外部APIへのリクエスト。 単位時間あたりに要求されるバッチ処理は10,000件を超えることもあるし数件のこともある。 外部APIは単位時間あたりのリクエスト数に上限を設けている。よってその範囲内でリクエスト数をコントロールしたい。 最大件数が増加しても6時間以内くらいでは終わってほしい。 バッチ処理の所要時間については、ほとんどが2,3秒で終わる。稀に数分かかることもある。 バッチ処理は互いにステートレス。順番や依存はない。 AWS Batchでやってみる AWS Batch とはそ
AWS Fargate Deep Dive: What it is, when to use it and comparison with AWS Lambda and ECS
Introduction AWS Fargate was launched in late 2017. It lets users build and deploy containerized applications without having to manage the underlying infrastructure themselves. Cluster management (tasks like managing EC2 instances, autoscaling policies amongst others) can be operationally challenging and adds a lot of friction for developers who want to be able to deploy their applications as quic
スタートアップのためのコンテナ入門 – AWS Fargate 編 | Amazon Web Services
AWS Startup ブログ スタートアップのためのコンテナ入門 – AWS Fargate 編 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 前回「スタートアップのためのコンテナ入門 – 導入編」という記事を公開致しましたが、今回はスタートアップ企業に特におすすめな AWS Fargate についてご紹介します。 前回もお話しましたが、「そろそろコンテナやった方がいいか？」「なんとなく使い始めたけれどこれでいいのか？」「コンテナ自体は分かったけど、サービスでの利用に踏み切れていない」といった漠然とした課題感をお持ちの方は「スタートアップのためのコンテナ入門 – 導入編」から目を通して頂ければと思います。 ※ 本記事は Amazon ECS を前提に書かれております。（執筆時点では Amazon EKS に未対応であったためです。）Amazo
Rails × ECS 運用してみたわかった起動タイプ EC2, Fargate の使い所 - メドピア開発者ブログ
メドピアマッスル部上腕二頭筋担当、CTO室 kenzo0107 です。 今回はメドピアの直近のプロジェクトで採用している Rails × ECS Fargate についてです。 直近プロジェクト 直近プロジェクトでは AWS ECS を採用しています。 2018年10月にリリースした スギサポ deli は、メドピアで Fargate 初採用となったプロジェクトです。 スギサポ deli とは？ sugisapo.ws 病気で食事制限が必要な方やシニアの方々、より健康な食生活を目指す方など、誰もが美味しく召し上がれるお食事をお届けするサービスです。 「食事制限」 と聞くと、簡素な食事をイメージされる方もいらっしゃると思いますが 一度見て頂くとお分かりの通り、かなりバラエティに富んだ内容となっており、目にも美味しい品々が並んでおります。 是非一度お試しいただければ幸いです♪ 今回お話ししたい
FargateのApacheコンテナの環境変数デバッグ方法 | DevelopersIO
やること こんにちは。大阪オフィスのかずえです。 Fargate、使ってますか？ホストインスタンスの管理をAWSにまるっとお任せできるので楽ですが、docker execでホストインスタンスに入ってゴニョゴニョすることができないので、デバッグが少し大変だったりします。 【祝！】FargateでもECSにごっつ簡単に環境変数に機密情報を渡せるようになりました！ 上記エントリにもある通り、Fargateでも環境変数の参照元としてパラメータストアを簡単に使えるようになっております。SecureStringタイプを使えば機密情報も登録可能です。簡単&便利なので皆さんご利用されることをオススメします。 今回は、この環境変数がちゃんと登録できているかコンテナ内で確認したい、という話です。 docker execが使えれば楽なのですが、Fargateなので使えません。前述のエントリではPHPを使っての確
TerraformでFargateのSidecarを実現しよう - Tech Blog - Recruit Lifestyle Engineer
こんにちは！リクルートライフスタイルの共通クラウド基盤でリードクラウドアーキテクトをしている須藤です。 この記事は AWS Advent Calendar 2018 の2日目の記事です！( リクルートライフスタイル Advent Calendar 2018 2日目の記事でもあります) リクルートライフスタイルの共通クラウド基盤では、サービスごとにアカウントを払い出して、サービス開発者がその環境を構築する、というスタイルです。クラウドアーキテクトチームはCCoE(Cloud Center of Excellence)であり、TerraformやFargateを使いたい、という開発者に対しては、ペアプログラミングやアーキテクチャレビューなど、規範的・助言的な活動を通して成長しあっていく、という活動をしています。 当然、re:Invent 2018で発表された トランジットゲートウェイ や AW
AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ
Amazon ECS（以下ECS）とFargateを用いて、今までEC2で運用されていたサービスをコンテナ化してECS上で稼働させるプロジェクトをしました。 特に、Fargateは2018年7月3日にTokyoリージョンで使えるようになったばかりなので、情報がまだまだ少なく手探りの状況でした。 Posted On: Jul 3, 2018 AWS Fargate is now available in Asia Pacific (Tokyo) region. https://aws.amazon.com/about-aws/whats-new/2018/07/aws-fargate-now-available-in-tokyo-region/ ECS/Fargateで実現したアーキテクチャ・デプロイ方法の全容とその実装方法を記していきます。以下のスライドにもまとめているのでぜひご覧ください
コンテナジャーニー〜AWSにおける段階式コンテナ運用〜 - Speaker Deck
このセッションでは、コンテナを本番環境に導入して動かすまでの注意点や考慮すべき項目を、段階的にお伝えします。日進月歩で進化を続けるAmazon Container Services界隈に「一歩を踏み出していただくためのきっかけ」をつかんでいただければ幸いです。 Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。 アプリケーションのコンテナ化には様々な面で大きなメリットがありますが、それを実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいかないことも
コンテナデプロイ基盤の検証 - Hatena Developer Blog
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
Docker運用基盤をECSからFargateにリプレイスした未来について考察してみた - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 この記事はコネヒト & aws-fargate Advent Calendar 2017 22日目の記事です。 ※本当は別記事二本書く予定だったのですが、パワー不足で一本にまとめさせてもらいました。 コネヒト Advent Calendar 2017 - Qiita AWS Fargate Advent Calendar 2017 - Qiita コネヒトでは、本番環境のほとんどのサービスでDockerを導入し、ECSを使ってサービス運用しているのですが、今回のre:Inventで発表されたFargateにこの環境を置き換えるとどんな未来が待っているかについて、考察してみました。 現状の自分が認識している情報ベースで書いているので、正確な情報とはいえずツッコミあれば指摘いただけると幸いです。 目次 Docker導入で何を目指した
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
早速AWS Fargateで、ECSで動かしているタスクを動かしてみた！ - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 AWS re:Invent今年は大豊作ですごいですね。 特に待ちに待っていた、フルマネージドのコンテナサービスが発表されて、ECSでEC2の管理したくないなと思ってた勢としてはとても喜びを感じています。 EKSとの棲み分けも気になる所ですね。 AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 | Amazon Web Services ブログ 今回は、検証を兼ねてECS上で動かしているバッチ処理をFargateで動かしてみたのでそのレポートをお送りします。 この記事はコネヒト Advent Calendar 2017 3日目の記事です。 qiita.com ゴール 既にECS環境で動いているDockerイメージとタスク定義をベースに、Fargateで一本バッチ処理を動かしてみて使用感を確かめてみる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
merpay の AML 基盤における AWS Fargate 活用事例、その選定理由
ECS Fargateを本番投入して得た悲喜交交