[アップデート] ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました | DevelopersIO
ECS/Fargateタスクのログ出力先をカスタマイズ (ルーティング) できる「FireLens」機能が正式リリースされましたので、試してみました。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 ECS/Fargateタスクのログ出力先をカスタマイズ(ルーティング)できる「FireLens」機能が AWS Containers Roadmap の リポジトリ でプレビューされていましたが、先日、正式リリースされました。 まだドキュメントが日本語化されていませんが、英語版ドキュメントの内容に沿って試してみました。 Custom Log Routing - Amazon ECS 従来の「CloudWatch Logs」へのログ出力 まず、従来の「CloudWatch Logs」へのログ出力を行ってみます。 全体の構成は下図のようになります。 ECSクラスターやALBの設定
![[アップデート] ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10e4b6d55aa4fe987e9584f7b2febd50e43f158/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elastic-container-service.png)
How Pokémon GO scales to millions of requests? | Google Cloud Blog
Priyanka VergadiaStaff Developer Advocate, Google Cloud Have you caught Pokémons? Pokémon GO is a popular game played by millions, but it scales extremely well. This blog is a behind-the-scenes look into how the Pokémon GO engineering team manages and maintains the scale. Joining me is James Prompanya, Senior Engineering Manager at Niantic Labs who leads the server infrastructure team for Pokémon
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に Googleは、ハイブリッドクラウド環境を実現するAnthosの新機能として、Dockerコンテナをサーバレスで実行できる「Cloud Run for Anthos」や、サービスメッシュを実現する「Anthos Service Mesh」などを発表しました。 Cloud Runをパブリッククラウドだけでなくオンプレミスでも Anthosとは、Kubernetesをクラウド基盤の抽象化レイヤとして用いることで、コンテナ化したアプリケーションをオンプレミスとクラウドのどちらでも実行可能にする、ハイブリッドクラウドおよびマルチクラウドのためのプラットフォームです。 Google CloudやGoogleが認証したオンプレミス用のサーバ構成だけでな
Kubernetes で実践するクラウドネイティブ DevOps / Cloud Native DevOps with Kubernetes (DevOps, CloudNative and GitOps)
コンテナと Kubernetes の到来によりソフトウェアをデプロイおよび運用する方法は大きく変わりました。ソフトウェアはコンテナ化された分散システムとなり、Kubernetes（または類似の基盤）の上で自動化を通じて動的に管理されるものになっています。そうしたアプリケーションを開発し、本番（プロダクション）に高頻度でデプロイしながらも安定した運用を実現することが今求められています。 本セッションでは Kubernetes でのアプリケーションの開発、デプロイにおける継続的インテグレーションや継続的デプロイから、運用、監視におけるメトリクスやオブザーバビリティまで DevOps のプラクティスを実践する方法と具体的に利用できるツールを紹介します。 OpenShift Meetup Tokyo #9 - DevOps/GitOps編 (2020/5/29) https://openshift
GMOペパボが主催の「Pepabo Tech Conference #14」では、GMOペパボのプラットフォームテクノロジーをテーマに、技術基盤チーム・データ基盤チーム・プラットフォームグループ（SRE）・セキュリティ対策室のメンバーが登壇し、各チームの取り組みについて発表しました。菅原氏は、「カラーミーショップ」へのKubernetes導入について話しました。 SREを取り入れて事業成果の最大化に貢献する 菅原千晶氏：「SREが取り組むカラーミーショップへのk8s（Kubernetes）導入」というタイトルで発表します。 まず自己紹介です。菅原千晶といいます。社内では「アキちゃん」というあだ名で呼ばれています。現在は技術部プラットフォームグループに所属しています。新卒で入社したシステム運用系の会社を経て、2018年3月からペパボカレッジ（未経験者向けの研修付きの採用）の6期生として中途入
Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog
SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS Fargateのタスクは時々再起動する必要がある ECS Fargateでサービスを運用していると、数ヶ月に一度ほどの頻度でこのようなお知らせがやってきます。 [要対応] サービス更新のお知らせ - AWS Fargate で実行されている Amazon ECS サービスの更新が必要です [Action Required] Service Update Notification - Your Amazon ECS Service Running
「みんなの銀行」は、GCPで稼働する「Cloud SQL」を中核に「K8s」でコンテナ化されたアプリケーション群を東西リージョンで両現用化したかなり画期的なシステム構成で面白いけど、尖りすぎてる話
(๑╹◡╹๑) @tsuchie88 みんなの銀行は、アクセンチュアがシステム構築しただけじゃなくて、GCPで稼働するCloud SQLを中核にK8sでコンテナ化されたアプリケーション群を東西リージョンで両現用化したかなり画期的なシステム構成で面白いんだけど、サービスもカードレスでスマホのみ、サブスクモデルと尖りすぎてるんだよな pic.twitter.com/4xMikwGQwf 2024-05-30 21:49:00 (๑╹◡╹๑) @tsuchie88 アクセンチュアって、海外では勘定系パッケージを販売してるし、Citibankのフロントエンドシステムとか個別構築も手掛けてたりして、何気に金融系システムベンダーとしての存在感があるんだけど、日本ではあんま強くなかっただけにMAINRIはスクラッチで日本で投入したライト勘定系で面白いんだが 2024-05-30 21:54:08
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ
eBPFで実現するコンテナランタイムセキュリティ / Container Runtime Security with eBPF
オンラインテックカンファレンス CloudNative Security Conference 2022 by CloudNative Days で発表した「eBPFで実現するコンテナランタイムセキュリティ」の登壇資料です。 https://event.cloudnativedays.jp/cnsec2022 資料内のURLは、PDFをダウンロードするとクリックで遷移できます。 eBPFはLinuxカーネルが提供する機能の一つで、近年、ネットワークやObservabilityといった文脈で注目を集めています。本セッションでは、セキュリティの観点から、eBPFを利用することで実現できることについて整理した上で、コンテナランタイムセキュリティを実現する具体的なeBPFツールとしてFalco、Tracee、Tetragonを紹介します。
Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜 を開催しました！ #kubernetes_casualtalk | メルカリエンジニアリング
Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜 を開催しました！ #kubernetes_casualtalk 2021年12月7日に、『Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜』 を開催しました。 この記事はイベントレポートです。配信当日の内容を簡単に紹介します！ 詳しくはYouTube上にある配信アーカイブ動画をご視聴ください。 イベント概要 今回のイベントでは、Kubernetesを活用し開発している企業（Ubie、サイバーエージェント、メルカリグループ）のエンジニアたちが集まり、CI/CDをテーマに各社の取り組みをプレゼンテーションで簡単に紹介し、さらにパネルディスカッションで深堀りしていきます。 想定対象者は以下のとおりです。 Kubernetes を使っている / これから使お
モビリティネットワーク企業のLyftが、AWSやKubernetes、Envoyといったウェブサービスのインフラ技術をまとめて管理できる「Clutch」をリリースしました。これまで別々の管理体系だったインフラ技術を、ひとつのサービスから管理することができるようになります。 Clutch · An extensible platform for infrastructure management. https://clutch.sh/ Announcing Clutch, the Open-source Platform for Infrastructure Tooling | by Daniel Hochman | Jul, 2020 | Lyft Engineering https://eng.lyft.com/announcing-clutch-the-open-source-plat
あけましておめでとうございます。サイバーエージェントの青山真也（@amsy810）です。今年の新春企画では、2022年にも動向を見ていきたいと思っている、2021年のCloudNative関連のトピックを紹介します。項目としてはeBPF、WebAssembly（Wasm）、複数Kubernetesクラスタの管理・連携、CNCF Technical Advisory Groups（TAGs）によるWhitepaperを取り上げていきます。 eBPF eBPFは、カーネルのソースコードの変更なしに任意のプログラムをカーネルに組み込み、カーネル空間で任意の処理を実行するための仕組みです。CNCFのプロジェクトでは、Cilium・Calico・Falco・Pixieなどで利用されています。 CloudNative領域でのeBPFは、ネットワーク関連での利用が一番活発です。eBPFを利用したCN
Kubernetesが標準プラットフォームであるクラウドネイティブの世界でアプリケーションを開発し運用する方法を解説する書籍です。 はじめに、Kubernetesの概要と背景、ソフトウェアの開発と運用にKubernetesがもたらす変化、コンテナの動作原理、コンテナの構築および管理方法、クラウドネイティブなサービスおよびインフラの設計方法などの基礎を紹介します。 そしてKubernetesアプリケーションの作成とデプロイ、Kubernetesクラスタの設定と運用、クラウドインフラの自動化、Helmなどのツールを用いたデプロイについてサンプルコードを使って学習します。ロールベースのアクセス制御（RBAC）をはじめとした、セキュリティ、認証、パーミッションなどに対するKubernetesのサポートや、本番でコンテナとKubernetesの安全性を確保するためのベストプラクティスについても学びま
Repos: https://github.com/usagi/rust-memory-container-cs 文字で読み書きするとやや大変です。しばらく間を開けてRustを触ったりするとスコシ混乱するかもしれません。と、いうわけでRustでメモリーコンテナー系に触れるモードになった時用に1枚絵のチートシートを整理しました。 文字を書けるQiitaにポストするのでちょっとだけチートシートの解説も乗せます。 おまけ解説 Threads; スレッド群 (rev.0 -> rev.1 でこのチートシート上で最初に現れる選択肢に切り替わりました ⇔ Ownership; 所有権) Rustではマルチスレッディング実行の安全性を向上するため、 適当に確保したメモリーをスレッド間でうっかり共有できない(少なくとも簡単にはうっかりできない程度に難しい)仕組みがあります。その仕組みの核心は標準ライブラリ
【Team & Project】OpenStackとKubernetesを用いたVerda Platformを開発しているチームを紹介します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズを開始します。 第一回目である今回は、インフラ領域を統括するITサービスセンターでPrivate Cloud「Verda」を企画・開発・運用するVerda室において、OpenStackとKubernetesを用いたVerda Platformを開発しているVerda Platform開発チームを紹介します。 Verda Platform開発チームのzoom会議の様子 Verdaは、LINEの共通インフラ基盤であるプライベートクラウドです。LINEでは、
巨大モノリスをKubernetesに移行してシングルクラスタ運用にするためにどうしたか | メルカリエンジニアリング
この問題を解決するため、もともとのコードベースであるところのモノリスもコンテナ化してKubernetesに乗せることにしました。ツールセットの統一をすることでよりシンプルな体系ができ、プラットフォームチームも一つの環境向けの改善に注力できるようになります。 プロジェクトの流れ PoC 計画についてあたため始めた際にちょうどよくUSチーム内でのハッカソンイベントがあったため、それに合わせて試しにKubernetesで動かすデモを発表しました。デモで見せる部分はごく限られたものだったため3人で3日くらい集中して開発したところ動くものができあがりました。 デモの評判は上々でEM、CTOに説明し実際にプロジェクトとしてすすめられることになりました。 現状分析 プロジェクト始動後、まず実施することは現状分析とどう移行するかの設計です。ここでのどの程度システムを把握できるかが計画の精度を決めます。しか
GitHub Actions Self-hosted Runner の導入と安定運用に向けた軌跡 - スタディサプリ Product Team Blog
こんにちは。SRE の @int128 です。 Quipper では GitHub Actions Self-hosted Runner を一部のジョブで導入しています。本稿ではその目的と具体例を紹介します。 背景と解決したい課題 Quipper では以下の CI サービスを用途に合わせて利用しています。 CircleCI（テストやデプロイなど） GitHub Actions（テストやデプロイなど） AWS CodeBuild（主に Terraform など AWS リソースにアクセスする場合） Google Cloud Build（主に Google Cloud のリソースにアクセスする場合） Jenkins（定期実行や手動実行に特化したジョブ） このうち GitHub Actions は以下の点が優れていると感じています。 monorepo 構成の場合にマイクロサービスごとに独立して
Kubernetesをとりまくコンテナランタイムの栄枯盛衰 / The rise and fall of the container runtimes surrounding Kubernetes
A talk at Kubernetes Novice Tokyo #10
Kubernetes基盤における運用フローのController化と継続的な改善 / kubernetes-controller-improvements
動画はこちらから https://cadc.cyberagent.co.jp/2022/program/kubernetes-controller-improvements/ 青山 真也 CyberAgent - CIU ソフトウェアエンジニア / KaaS プロダクトオーナー 2016年新卒入社。Kubernetes/CloudNative領域のCA Developer Experts。CloudNative Days Tokyo のCo-chair、Kubernetes Meetup TokyoのOrganizerなどコミュニティ活動にも従事。著書に『Kubernetes完全ガイド』等。 CyberAgent group Infrastructure Unit の Dev チームでは、これまで約 5 年間 Kubernetes を拡張しながらサービスを提供するためのプラットフォームとし
Introducing Finch: An Open Source Client for Container Development | Amazon Web Services
AWS Open Source Blog Introducing Finch: An Open Source Client for Container Development Today we are happy to announce a new open source project, Finch. Finch is a new command line client for building, running, and publishing Linux containers. It provides for simple installation of a native macOS client, along with a curated set of de facto standard open source components including Lima, nerdctl,
本ブログの主旨 サプライチェーンセキュリティにおいて既存のフレームワークよりも具象化されたモデルを用いて脅威及び対策を精査することで、実際のプロダクトへのより実際的な適用可能性及び課題を検討した。 具象化されたモデルにおいては「脅威の混入箇所と発生箇所が必ずしも一致しない」という前提に立ち、各対策のサプライチェーンセキュリティにおける位置付け及び効力を検討した。とりわけ、ともすれば無思考的に採用しかねないSBOM等の「流行の」対策に対して、その課題や効果の限定性を明らかにした。 これらの脅威分析に基づき、「サプライチェーンの構成要素に存在する多数の開発者それぞれに対して責任を分散して負わせる」形態のパイプラインを置き換えるものとして、「各構成要素に存在する開発者に対して一定の制約を強制する代わりに、サプライチェーンセキュリティに関するオペレーションを一点に担う中央化されたCIパイプライン」
個人で運用している VPS に Kubernetes を乗せて既存のシステム（Web アプリとか Slack Bot とか Cron ジョブとか）をガッと移行した。 もともとは itamae 使って Systemd でサービス立ち上げていたのだけど、ソフトウェア依存とか権限分離とか冪等性とか面倒になってきて、うおお Docker でデプロイするぞ！となっていた。 初めは Docker Compose で立てようと思っていたけど、k8s のほうが楽しそうなので k8s にした。実際楽しいので良いと思う。 何を使って Kubernetes を立てるか Microk8s メリット デメリット kubeadm メリット デメリット 他に考えたこと ネットワークプラグイン Volume 周り オブジェクト管理 アプリケーションの移行 感想・補足 何を使って Kubernetes を立てるか Micr
Docker Compose入門 (2) ～ウェブサーバの開発環境を作るための準備～ | さくらのナレッジ
前回（第1回）は、Dockerコンテナに対応するアプリケーションを開発・実行するために、Docker Composeというツールを使うのが便利ということで、例としてDocker Composeを使ってWordPressをコマンド1つで実行する方法を紹介しました。WordPressのような、しっかりとしたアプリケーション以外でもDocker Composeが使える場面があります。 今回は、Docker Composeを使ってウェブサーバ（Apache httpd）を実行し、コンテンツを表示する例を見ていきましょう。 なぜDocker Composeなのか？ 単純にウェブサーバとして実行するアプリケーションであれば、Dockerだけで何ら困らないでしょう。例えば、Apache httpdサーバを実行するには、次のようにしてコンテナを実行できます。 docker run -d httpd しかし
Red Hatが「Quarkus」の商用サポートを開始。JavaコードをコンパイルしてLinuxバイナリを生成、省メモリ高速起動でコンテナ環境に最適
Red Hatが「Quarkus」の商用サポートを開始。JavaコードをコンパイルしてLinuxバイナリを生成、省メモリ高速起動でコンテナ環境に最適 Red Hatは、Kubernetesなどのコンテナ環境に最適化されたJavaアプリケーション開発と実行のためのフレームワーク「Quarkus」の商用サポート開始を発表しました。 #Quarkus, a #Kubernetes-native #Java runtime, now fully supported by @RedHat. https://t.co/EFzJS5wxDW pic.twitter.com/6gwo5Sq15x — Red Hat Developer (@rhdevelopers) May 28, 2020 Quarkusの最大の特徴は、GraalVMのコンパイラを用いてJavaコードからLinuxのネイティブバイナリを
Kubernetesの資格CKA/CKADを取得し、なにか自分にご褒美を与えたいな〜と思い……おうちKubernetesを構築することにしました！楽しみにしてたんだ！！ 前日譚： ryusa.hatenablog.com モチベーション 🦾 そもそもなんでおうちKubernetesなんて？と言う話から…… 自分の仕事柄、職場のエンジニアの多くが自宅になにかしら機材を持ち込んで幸せになってる人が多いんですよね おうちKubernetes おうちサーバー＆おうち iLO おうちESXi おうちクラウドサービス おうちハニーポット おうちBGPフルルート 先日も仕事の帰り道に数万する機材をポチって自宅に搬入したとか話を聞き、これはもはや一種の宗教じゃないのか とても羨ましい！ぜひ我が家にも！！と、ぼくも家に機材を搬入してみたいな〜と思ってました。 とはいえ、残念ながら自分は仕事で機材に触る機会
Waypointとは何か
Hashicorpの2020年冬の新作 Waypoint (リリースブログ)に関してドキュメントなどをざっと眺めてみたので最初の印象をちょっと書いてみる．ちゃんとしたレビューは @copyconstruct の記事 Waypoint とか読むのが良い．毎度のことながらドキュメントやガイドはかなりちゃんとしたのがあるので使い方とかはそっちを読んだ方がいい．以下に書くのはざっくりした個人の感想（ちなみにもう一つのBoundaryに関してはZero Touch Productionとは何か に軽く書いた）． What is Waypoint Waypointは，KubernetesやNomad，Amazon ECS，Google Cloud RunといったPlatformの上にBuild，DeployとReleaseの一貫したWorkflowを実現するツール．使ってる言語やそのパッケージ方法や，
ALB ターゲットグループのバランシングアルゴリズムを LOR にする - hagihala's blog
この記事ははてなエンジニア Advent Calendar 2022の27日目のエントリです。 問題 社内で運用している Fargate サービス (Perl の plack アプリケーションが動いている) において、以下のような問題が発生していました。 リクエストごとの処理の重さ (計算リソースの使用量や所要時間) に違いがあり、特定の task に重いリクエストの割り振りが偏ることがある Fargate task は表向きのコア数は同じでも、割り当たるハードウェアの世代によって処理能力が異なるケースがある (いわゆるインスタンスガチャ) このような偏りのある状態でアクセス増など全体の負荷が増加し、一部 task のワーカプロセスが全て busy な状態が一定時間続くと ALB のヘルスチェックに落ちて殺される 各リクエストを1つのプロセスが処理する、いわゆる prefork アーキテク
運用管理が楽になり、クラウドとの親和性も高い――エンジニアならば避けては通れない「コンテナ」技術のメリットは、既に多くのエンジニアが肌で感じているものだろう。コンテナアプリケーションを動かすまでには、コンテナイメージを作成し、レジストリにアップロードし、そのイメージをデプロイ先にダウンロードし、コンテナを実行するというプロセスを踏む。コンテナアプリケーションの構成はDockerfileなどのテキストで表現できることもあり、構成管理は可読性も高い。 では、そこに“脅威”はないのだろうか？ コンテナ技術が普及期に入ったこともあり、昨今では“コンテナセキュリティ”に関しても注目が集まっている。しかしコンテナセキュリティが指すポイントについてはさまざまな意見があり、「いったいどこを守るべきなのか」「どこに脅威があるのか」がよく分からないというエンジニアも少なくないだろう。 そこで今回、トレンドマイ
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 | DevelopersIO
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 そろそろ Kubernetes 入門しようかな。インフラは AWS がいいな。 そんなあなたに Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える ということで本日は 2020/03/25 に出版されたKubernetes on AWS ~アプリケーションエンジニア 本番環境へ備えるを紹介したいと思います。 こんな方にお勧め コンテナベースの開発プロセスや Kubernetes の基本的な使い方を理解したいアプリケーションエンジニアの方 Kubernetes は避けては通れないと思っている AWS エンジニア（インフラエンジニア）の方 Kubernetes を本番運用するにあたり何をすべきなのか知りたい
ローカルでk8sを試してみたいときはk3dが使えそう。Istioも動きそう。 - Mitsuyuki.Shiiba
## ローカルでk8s ちょっと試してみたいときとかに、ローカルでk8sを動かしたくて。以前だとMinikubeとかDockerについてくるk8sとかを使ったことがあるけど、今だとまた何か出てるかな？と思ってたらこういうスレッドを見つけた。 K3s, minikube or microk8s? : kubernetes Minikube Microk8s K3s Kind Desktop Docker K3d Kubeadm が紹介されてた。へー。と思って、なんとなくk3dが面白そうかなと思ったので試してみた。 ## k3d https://github.com/rancher/k3d 紹介されている一覧の中にあるk3sをDockerで動かしてくれるのがk3dということみたい。Dockerを動かすプラットフォームをDockerの中で動か・・・す？こんがらがる。 僕はUbuntu使ってるんだ
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
定期実行するLambdaが「起動しなかったこと」を検知するCloudWatch Alarmを作る | DevelopersIO
「1時間に1回起動するLambda」や「1日に1回起動するLambda」といった定期実行するLambdaが「起動しなかったこと」を検知するCloudWatch Alarmを作ってみました。 Lambdaを定期実行する仕組みをよく作ります。 1時間に1回起動する 1日に1回起動する これらのLambdaが「起動しなかった場合」に通知が欲しくなったので、CloudWatch Alarmを作ってみました。 実際にLambdaが起動しない事象に遭遇したことは無いですが、このAlarmがあると、「ちゃんと起動しているよね？」というモヤモヤが解消されます。万が一に気づける保険ですね。 おすすめの方 定期実行するLambdaが「起動しなかった場合」のCloudWatch Alarmを作りたい方 定期実行するLambdaとCloudWatch Alarmを作成する sam init sam init \
おうちで学ぶサービスメッシュを支える透過型プロキシとしてのEnvoy - NTT Communications Engineers' Blog
この記事は、NTT Communications Advent Calendar 2021 4日目の記事です。 こんにちは、イノベーションセンターでSREとして働いている昔農(@TAR_O_RIN)です。主にNTT Comのソフトウェアライフサイクルの改善への取り組みやアーキテクトに関わる仕事をしております。本日はサービスメッシュを題材に，その中で用いられるEnvoyの活用パターンを手を動かして理解するお話をさせていただきます。 また，昨年までのアドベントカレンダー記事もご興味があればご覧ください！ 2020年 How do you like k3s ? - CoreDNSで作るお家DNS Cacheコンテナ 2019年 TektonでCI/CDパイプラインを手の内化しよう 2018年 DevOpsってこんな仕事！考え方とスキルセットのまとめ 2017年 DockerのnetworkをCa
技術発信やその他の研鑽ではなく、業務という形式にこだわったのは、座学に偏りがちな私自身の性格を踏まえてのことです。 また、業務形態を問わず、ひとりのエンジニアとして何ができるのかを認知され、裏付ける実績があり、いい形でコラボレーションできる状態でありたいと思うこともあり、Offersに登録して、複業を探し始めました。 詳しい経緯は私のブログ記事「旗を立てる2021年」にまとめています。 > まずは「Offers」で副業オファーを受けてみる 小さいスコープで技術選定 最初に取り組んだのは、ツールやコンポーネントの導入でした。最初のタスクということもあって、「xxxというツールを導入してほしい」というタスクベースのものが主でした。 コンテナ管理にKubernetesを選択しており、運用をいかに信頼性高く効率的に行っていくかという課題がありました。それまでの基盤へのコンポーネント導入や移行の設計
Kubernetes で cgroup がどう利用されているか - VA Linux エンジニアブログ
はじめに 利用した環境 cgroup の階層構造 例：CPU やメモリの制限 例：PID 数の制限 例：CPU コアの排他的割り当て まとめ 執筆者 : 山下雅喜 はじめに cgroup とは、Linux カーネルの機能の1つであり、プロセスやスレッドが利用するリソースの制限や分離を行うための機能です。 cgroup は名前空間の機能と共に、Linux コンテナの根幹を成す技術の1つでもあります。 Kubernetes において、名前空間は PID 名前空間、ネットワーク名前空間、マウント名前空間などで利用者の目に触れやすい存在ではありますが、cgroup は相対的に目に付きにくいもののように感じています。 そこで今回は、Kubernetes のいくつかの機能を例に挙げ、cgroup がどう利用されているか見ていきます。 利用した環境 利用したソフトウェアおよびバージョンは次の通りです。
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
マルチコンテナ環境を構成するためのオープン仕様「Compose Specification」登場。Docker、AWS、マイクロソフトらが協力して仕様拡張へ
マルチコンテナ環境を構成するためのオープン仕様「Compose Specification」登場。Docker、AWS、マイクロソフトらが協力して仕様拡張へ Docker社は、同社がDocker Composeとして提供してきた複数のDockerコンテナをまとめて構成する機能の仕様を「Compose Specification」としてオープンな仕様とし、Amazon Web Services（AWS）やマイクロソフトらと協力して拡張していくことを発表しました。 Docker Composeは、2014年にDocker社が買収したOrchard社のマルチコンテナ構成ツール「Fig」を、Docker社が同社のブランドとして製品化し、コンテナオーケストレーションツールのDocker Swarmと同時に2015年2月に公開したソフトウェアです。 Docker Composeを用いると、複数のDoc
Docker公式ブログに書かれた「開発者が知っておくべき Docker、Docker Engine、Kubernetes v1.20」について ‣ Pocketstudio.Net
Docker 公式ブログに「What developers need to know about Docker, Docker Engine, and Kubernetes v1.20 という投稿があり、何が書かれているのか要点を日本語でまとめました。 書かれているポイントは「Kubernetes で Docker が非推奨ではなく、これまで通り使い続けられる」であり「Docker イメージの話と、ランタイムの話は別」との内容です。 今回のDockerのブログ投稿を捕捉しますと、Kubernetes における docker-shim の話と、 Docker イメージの扱いは別だ、という内容でもあります。つまり、前提として「Docker Engineとcontainerd、Dockerコンテナとイメージの話」も分けて考えたり議論する必要があります。 Docker エンジンを構成する要素の1つ
攻撃しながら考えるKubernetesセキュリティ / Considering Kubernetes Security While Attacking 2
WASNight 2021 Kick-off OWASP Session
Kimihiko KitaseHead of Enterprise Marketing, Google Cloud Japan デモ用のマイクロサービスアプリケーションを使って実際に、マイクロサービスアプリケーションの開発、ビルド、デプロイ、運用を体験してみましょう。 このアプリケーションは、10 のサービスで構成されている「Hipster Shop」と呼ばれるデモ用の EC サイトです。ユーザーは、製品を選択し、カートに追加し購入することができます。各サービスは、Go, C#, Node.js, Python, Java といった言語で独自に書かれおり、下記のように、gRPC でコミュニケーションします。また、開発者は skaffold を使用し、1 コマンドでアプリケーションのビルド、デプロイが可能です。実行環境は、Google Kubernetes Engine (GKE) や、Lo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GMOペパボのインフラ担当が感じた“Kubernetes”化の不安 “GitOps”でアプリケーション稼働は快適になる
メルカリの検索基盤の変遷について | メルカリエンジニアリング
AWSやKubernetesなどのインフラ管理をまとめて行える「Clutch」をLyftがオープンソースで無料公開
2022年に注目したいCloudNative関連技術 | gihyo.jp
Kubernetesで実践するクラウドネイティブDevOps
Rust Memory Container Cheat-sheet - Qiita
サプライチェーンセキュリティにおける脅威と対策の再評価 | メルカリエンジニアリング
個人で運用しているサーバーを Kubernetes に整理する - Unyablog.
おうちKubernetesを構築した話 - メモ - RyuSA
「コンテナセキュリティ」とは――コンテナを活用する人が知っておくべき6つのポイント
複業SREとして広げる課題解決の幅と深さ。期待値以上の成果を上げるまでに何をしたか | Offers Magazine
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
体験して理解しよう！マイクロサービスの開発、ビルド、デプロイ、運用 | Google Cloud 公式ブログ