ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
株式会社アンドパッドのエンジニアの浜田です。 現在、コンテナ化プロジェクトの活動をしています。 アンドパッドは多くのサービスを提供しておりますが、その中で最も歴史が長く、コード量が多い、社内ではANDPAD本体と呼ばれるサービスがあります。 コンテナ化プロジェクトはこのANDPAD本体をコンテナ環境に移行するプロジェクトです。 プロジェクトは2020/11頃から開始し、2021/12に第一弾の本番リリースが完了しました。今回はその活動について共有します。 プロジェクトの発足 アンドパッドにおける下記課題を解消することを目的として、コンテナ化プロジェクトを開始しました。 リリース作業にかかる時間が長い 以前のANDPADでは本番リリース作業に数時間かかっていました。本番作業なので複数人で作業を行い、人数×時間ぶんの工数が取られることになります。 また夜間に作業することも多く、リリース担当者の
[アップデート]全 AWS Fargate 利用者必見! Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました はじめに 昨年、AWSはSeekable OCI(SOCI)の導入により、アプリケーションの起動と同時にコンテナからデータを非同期にダウンロードするコンテナイメージの遅延読み込みを実現しました。 これにより、コンテナイメージを変更せずにアプリケーションをより速く起動できるようになりました。 今回、SOCIがAWS Fargateにもサポートされました! SOCIは、ECRに保存されているコンテナイメージと同じECRにインデックスを作成しておくことで、イメージ全体をダウンロードせずに個々のファイルを抽出してコンテナを迅速に起動できます。 Amazon ECR リポジトリからイメージをダウンロードする際には、自動的にSOCI インデックスの有無
メドピアマッスル部上腕二頭筋担当、CTO室 kenzo0107 です。 今回はメドピアの直近のプロジェクトで採用している Rails × ECS Fargate についてです。 直近プロジェクト 直近プロジェクトでは AWS ECS を採用しています。 2018年10月にリリースした スギサポ deli は、メドピアで Fargate 初採用となったプロジェクトです。 スギサポ deli とは? sugisapo.ws 病気で食事制限が必要な方やシニアの方々、より健康な食生活を目指す方など、誰もが美味しく召し上がれるお食事をお届けするサービスです。 「食事制限」 と聞くと、簡素な食事をイメージされる方もいらっしゃると思いますが 一度見て頂くとお分かりの通り、かなりバラエティに富んだ内容となっており、目にも美味しい品々が並んでおります。 是非一度お試しいただければ幸いです♪ 今回お話ししたい
冷やし中華の季節になりましたので、Kubernetesをはじめました。もとい、はじめてしまいました。 前回のECSシリーズに比べると、だいぶ世界が広いシステムであり、1つのシリーズとしてまとめるとか、全部終わってから書き始めるとか、どうにもできそうになかったので少しずつ進めることにします。今回は、雑感とリンク集のみで、助走というか覚悟を決める回という位置づけになりやす。 これまでの率直な感想 触り始める前の僕 Kubernetesの情報がやけに目につくけど、なんか煽り感が強くて気に食わん…… ていうかクラウド界の「Linux」ってなんやねん俺は騙されんぞ!なんかイケ好かないシステムくさいな!! 数日間、情報収集した僕 このクラウド全盛期に、なんでいまさらクラウドの中にこんなプラットフォームを構築せなアカンねん、オンプレでやれ。 納得いく構成と構築まで頑張った僕 なんだかんだで手足のように動
AWS による docker コンテナのオーケストレーションサービスである Amazon ECS / Fargate のヘルスチェックの挙動について調査する機会がありましたのでアウトプットしておきたいと思います。 前提として Fargate で ECS のサービスとして、ロードバランサーは Application Load Balancer(ALB)を利用して実行するケースで調査しました。網羅的ではない点、ご了承ください。 ECS におけるヘルスチェック さて、ECS でサービスを実行する上で、いわゆる「ヘルスチェック」は2種類あります。 Elastic Load Balancer(今回は ALB)に関連付けられる Target Group によるヘルスチェック タスク定義のコンテナに対して実行する docker によるヘルスチェック(参考 : docker ドキュメント, AWS ドキュ
EKSクラスタでアプリケーションを起動させる これだけでもちょっぴりハードルが高いが、この先にはもっと高いハードルが待ち受けている。そう、 コードを修正してEKSクラスタにデプロイするまでのフローを考える である。正直適当にやろうと思えばなんとでもなるが、ここを整備しないと不幸な未来が待っているのだ。 ということで今回は、私が考えたデプロイフローとそのフローに到るまでに悩んだポイントを紹介したいと思います。 ※一部机上レベルでの確認になります。 フィードバックお待ちしています。 デプロイフロー 前提 AWSアカウント:環境毎に分離 Gitリポジトリ:GitHub Dockerレジストリ:ECR CI:CodePipeline + CodeBuild CD:ArgoCD(後述) 用語 アプリケーションリポジトリ アプリケーションコードを管理するためのリポジトリ ArgoCDリポジトリ k8s
おはようございます、もきゅりんです。 Shall we mesh ? 弊社コンサルティングには、今一度 AWS の各サービスを初心に返って、基本的な部分から見つめ直してみよう、解説してみようといったブログリレーという企画があるのですが、本稿はそれを模して、個人的な AWS App Mesh 再入門という体にしてみました。 どちらかというと、未来の自分のための備忘録と言えます。 これまで AWS App Mesh (以下 App Mesh) に入門されていなかった方も、すでに脱会されてしまった方も興味があれば再入門して下さい。 App Mesh とは何か サービス(アプリケーション)間の通信制御と可視性を実現するサービスメッシュを提供する AWS マネージドサービス です。 ブラックベルトにならってまとめると以下のような機能があります。 HTTP通信のリトライやタイムアウト 通信のトレーシン
【追記情報】 2022/06/15 09:00 誤字修正 + cdkk8sについて言及 先日、ハンドブックを公開しました。 ここではKubernetes上で稼働させた実績値としての記録が紹介してあります。が、逆に紹介していないものもたくさんあります。検証が済んでいないもの、時間的制約から導入できなかったものなど、不完全な情報を紹介しようと思います。 したがって、何も保証するための裏付けはないので「そういうことも検討してたんだなぁ」ぐらいで読んでもらえると嬉しいです。元記事もぜひ読んでみてください。 nodejsのDocker Imageの軽量化 Docker Imageを作る際、多くの場合Image内にnode_modulesを含んだ状態でイメージを作成しています。Nodejsのベースイメージが60〜100MBくらいあるのに対して、ビルド後のイメージサイズは200MB〜1GBくらいまで膨れ
こんにちは。ネクストモードの田邉です。 自己学習のためにAWS WorkshopsのCI/CD workshop for Amazon ECSをやってみたのでご紹介します。 CI/CD workshop for Amazon ECS AWS Workshopsについて AWSから提供されているサービス・テーマ別のワークショップです。 入門・中級・上級・エキスパートとレベル設定されているため、様々な方に活用する機会があると思います。 言語は基本的に英語のみですが、AWSサービスの概要を理解されてる方であれば実践可能な内容になっています。 AWS Workshops おすすめしたい方 AWSでCI/CD導入を検討中の方 AWS資格勉強中(DVA/DOP)の方 AWS Hands-on for Beginnersを一通り実施済みで実践向けのハンズオンを求めている方 ワークショップのゴール ステー
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散](https://tech.recruit-mp.co.jp/infrastructure/post-17098/) * [Amazon EKSでAWS App Meshを利用してgRPCサーバーを運用する](https://tech.recruit-mp.co.jp/infrastructure/post-20765/) * [https://tech.recruit-mp.co.jp/infrastructure/po
「これで… これでAWSのコンテナワークロードは、全て、すべて丸見えなんやで… バタッ」 しばらくまえにパブリックプレビューとして提供されていたContainer Insightsですが、ついにGA(一般公開)の運びとなりました!! Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch 従来のCloudWatchでは取得できなかったタスクやコンテナ単位のメトリクスが、Container Insightsによって取得できます。 さらにGAによって、既存のECSクラスタも追加設定が可能になっており、既に構築済みのクラスタに対して「1分」でContainer Insightsがお手軽に利用できます!!まずは、手元の環境でONにしてもらい、そのメトリクスの便利さ
Amazon Elastic Container Service (Amazon ECS) introduces Amazon ECS Exec - a simple, secure, and auditable way for customers to run commands in a container running on Amazon Elastic Compute Cloud (Amazon EC2) instances or AWS Fargate. ECS Exec gives you interactive shell or single command access to a running container making it easier to debug issues, diagnose errors, collect one-off dumps and sta
Amazon ECSの新たなデプロイツールとなるAWS CopilotがGAに!ECS環境の構築が便利になるぞ!! Amazon ECSの新たなデプロイツールとなるAWS CopilotがGAになりました! 改めて、使い方やベータ版から追加された機能について試してみました。また、AWS Copilotによってもたらされる(かもしれない)未来について、自分なりに考えてみました。後半はほぼポエムです。 コンサル部のtobachi(@toda_kk)です。 2020年11月23日に、Amazon ECS CLIの後継となるデプロイツールとして、AWS CopilotがGAになりました! 以前からベータ版として提供されていましたが、GAとなったことで、Amazon ECS環境のデプロイツールの1つとしてProduction利用においても検討可能になったのではないかと思います。 AWS Copilo
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
みなさんこんにちは。Backlog課のGitチームに所属するテリーです。今回は僕たちが日々運用するECS Fargate上のアプリケーションのデプロイ方法とそれをどう改善してきたかについてまとめました。デプロイについて迷っている方や日々の業務の改善が好きな人に読んでもらえたらと思います。 Git機能におけるデプロイ ECS上で動くアプリケーション BacklogのGitはEC2上で動くアプリケーションとECS Fargate上で動くアプリケーションで構成されています。 アーキテクチャの外観は上記のようなになっています。Gitのアーキテクチャについて過去に詳しく説明したブログを発表していますので詳しくはこちらを参照ください。 僕たちは上記のアーキテクチャ中の4つのアプリケーションをECS Fargate上で運用しています。また、内部的な話になりますがBacklogには内部構造として複数の本番
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
はむはー!最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか? 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト
はじめに ご無沙汰しております。 最近は多忙でブログ書けていませんでしたが、今回は事例紹介やプラクティスのご紹介ではなく、re:Invent2020のAndy Jassy's Keynoteで発表されたAWS Protonというサービスについて、サービス概要や使い方、メリットなどをご紹介できればと思います。 最初サービス内容を聞いたとき、僕自身も「???」な状態だったので、同じように疑問をお持ちの読者の皆様へ理解の助けになればと思います。 注意事項 本ブログは2020-12-02時点の情報になります。 また記載時点ではAWS Protonはパブリックプレビュー状態であり、GA時に内容が変わる可能性がある点だけご留意いただければと思います。 AWS Protonとは? 誤解を恐れずに言ってしまえば、コンテナやサーバーレスアプリケーションからなるサービス構成を「統一的に管理・運用」するためのサ
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
「でかいインスタンスを建てればAWSの料金が高くなっていく…。」 「大量購入すればお金が飛んでいく…。」 こんにちは(U・ω・U) AWS事業部の深澤です。 さて僕はこの前このような記事を公開させていただきました。 どちらも大変ご好評いただき、本シリーズも第3弾となりました。いつも読んでいただいている皆さん、有難うございます。是非今回も最後までお楽しみいただけますと幸いです。それでは、いつも通り最初に注意事項を申し上げておきます。 注意 今回ご紹介するものは実際に検証したものではありません。AWSの料金表を確認して、実際このくらい溶けるのではと計算した理論値になります。 日本円のレートは執筆時現在(2020年2月末)のレートとなります。 リージョンは東京です。 それぞれがどういったサービスなのか、細かい話は割愛します。 ここで取り上げたサービスが高いとか悪いとかそういうことを言いたいブログ
はじめに これは Kyash Advent Calendar 2021の12日目の記事です。 こんにちは。KyashでSREを担当する、福岡県在住の@hikarunです。 本日は、Kyashで稼働するマイクロサービスをAWS Fargateに移行した話を紹介させていただきます。 事前知識 AWS Fargateとは AWSが提供しているAWS Fargate*1は、コンテナ向けのサーバレスコンピューティングの機能です。 サーバ不要のためインフラリソース管理を効率化できる、非常に魅力的な環境です。 EC2をFargate化するメリット・デメリットについては既に多くの皆様が記事に書かれておりますので、私の方で特に強く思う事を抜粋して記載させて頂きます。 EC2をFargate化するメリット インスタンス自体の設定や脆弱性を気にしなくてよい EC2インスタンスでコンテナを稼働させることはもちろん
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ターゲット追跡ServiceAutoScallingを使い、ECS×fargateで運用しているサービスのスパイク対策と費用削減に取り組んだのでその内容をまとめています。 内容はざっくり下記4項目について書いています。 抱えていた課題 キャパシティプランニングに対する考え方 ECS ターゲット追跡ServiceAutoScallingとは何か? どんな結果になったか? 抱えていた課題 コネヒトでのWebのアーキテクチャはほとんどがECS×Fargateの基盤で動かしています。 ECSのバックエンドをEC2からFargateに移行したタイミングで、大きく下記2点のメリットは享受していました。 EC2を意識しないことでの運用コスト削減 オートスケールの容易さ ですが、サービス運用にあたりまだ下記のような課題がありました。 ①
Amazon Web Services ブログ コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 コンテナ化されたアプリケーションとマイクロサービスの適応が増えるに従い、監視と管理の負担がますます増えます。ビルダには Amazon Elastic Compute Cloud (EC2) のインスタンスなどのより長期にわたるインフラすトラクタに使用されるため、同じレベルの監視が期待され、要求されています。対照的に、コンテナは比較的短命で、通常は継続的なデプロイが求められます。これにより、信頼性をもって監視データを収集し、パフォーマンスやその他の問題を分析することが困難になり、このことが修復時間に影響を与えます。さらに、ビルダはさまざまなツールを使用してこの分析と検査を実行し、一連のインフラストラクチャとアプリケーションのメトリック、ログ、およびその他のトレース全体でコンテキスト
みなさんハッピークリスマス。Red Hatのさいとうです。 AnsibleユーザグループのAdvent Calender 2022最終日の記事として、2022年のAnsibleにどのような変化がありそうなのかといったあたりの個人的な予想を書き残しておこうと思います。 この記事は、AnsibleユーザコミュニティのAdvent Calendarですから、アップストリームの情報を元にして書いています。Red Hatのテクニカルサポートには問い合わせないでね! 2021年のAnsibleのふりかえりについては、コチラをどうぞ。 2022年にやってきそうな変化 現在のAnsible Core 2.xは、ある程度安定期に入っているため、機能面で劇的な変更が加えられることはしばらくないものと考えています。しかし、Ansible Coreが稼動するPlaybookの実行環境としては、2022年に大きな変
こんにちは。SRE の @chaspy です。 Quipper では AWS 上で Kubernetes Cluster を運用してサービスを提供しています。 これまで kube-aws を用いて Kubernetes Cluster を Self Host してきましたが、このたび Managed Services である Amazon EKS に移行しました。(以下、 Amazon EKS を EKS と表記します) 本記事では、 Kubernetes Cluster の移行で遭遇した問題をどのように解決したかを説明します。また、数多くの Application が稼働している Platform を移行する際にどのような点を考慮するとよいのか、経験を通して学んだことを共有します。 EKS への移行を検討している方はもちろん、Platform Migration に携わる方にとって学びに
手法 いくつかあると思うが、今回の選択肢としては次が挙がった Public SubnetにEC2を構築し、そのEC2を経由してPrivate RDS(など)にアクセスする手法と、 ECS Fargate × SSMで構築し、ECSに対してSSM接続することでProxyとする手法。 Pros and Cons EC2 Pros(長所) 馴染みのEC2なので何かと情報が出回っており、直感で操作できる 構築難易度がECSに比べ低い。 Cons(短所) EC2 Fargateパターンに比べ、イケイケ感の低さや運用コスト(後述)の違いがある 運用担当者がEC2内にSSHユーザーの設定をユーザー毎に行わなくてはいけない sshのkey pairをどう管理するのか問題が控えている ECS(Fargate) Pros(長所) まず、イケている。 運用担当者はSSHユーザーの作成不要で、IAMユーザーさえ作
[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました いわさです。 私は CloudWatch Logs でログの確認をよくするのですが、トラブルシューティングや開発中にログに張り付くようなタイミングだと既存の CloudWatch Logs のイベント機能や Logs Insights では表示の更新が必要でちょっと不便だなと思っていました。 本日のアップデートで CloudWatch Logs に新たに Live Tail という機能が登場しました。 CloudWatch Logs のログストリームに送信されたログをリアルタイムで確認することが出来ます。 フィルターなどをかけながらリアルタイム表示出来るので、なかなか良いですよこれは。 ただし、有料オプションなのでご注意ください。 この記事では実際に使
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
ほぼ独学・未経験者がモダンな技術でポートフォリオを作ってみた【Rails / Nuxt.js / Docker / AWS / Terraform / CircleCI】RailsAWSCircleCITerraformNuxt はじめに こんにちは! akiと申します! 当記事はほぼ独学・未経験者がモダンな技術でポートフォリオ(以下PF)を作ってみたので、ご紹介させて頂きたいと思います。 昨今、未経験者がモダンな技術を使用して作成した、PFの作成記事も多く存在するので、何番煎じかにはなってしまいますが、この記事も同じ初学者の方の参考になれば幸いです。 自己紹介 私は22歳・高卒で、現在(2021年3月時点)も工場で製造の仕事を続けております。 そんな私ですが「Webエンジニア」という職種に興味を持ち、2020年4月よりプログラミング学習を開始しました。 今回紹介するPFの作成期間は約3ヶ
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
ここ1ヶ月半くらい、ちょっとした独自システムを創っていたのですが、そこで編み出したテクニックを紹介してみます。 要はECS Execを使い込んだよってだけなんですが、こういうオモチャを使ったオモチャを作らせたら一級品の自負、ある。 ECS Exec の概要 基本的なところは他に任せたいのでリンクだけ貼っておきます。 New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services ブログ [アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO デバッグに Amazon ECS Exec を使用する – Amazon ECS 外からコマンドを実行できる旨味 ECSっていっても自分の中では Fargate の話にな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く