Amazon Elastic Container Service (Amazon ECS) and AWS Fargate now integrate with Amazon Elastic Block Store (EBS), allowing you to easily provision and attach EBS volumes to Amazon ECS tasks running on both AWS Fargate and Amazon Elastic Compute Cloud (EC2) using Amazon ECS APIs. This capability makes it easier for you to deploy storage and data intensive applications such as ETL jobs, media trans
Kubernetes上でイベントドリブンなオートスケーリングを提供する「KEDA」、本番環境で使えるレベルに到達したとしてCNCFの卒業プロジェクトに
Kubernetes上でイベントドリブンなオートスケーリングを提供する「KEDA」、本番環境で使えるレベルに到達したとしてCNCFの卒業プロジェクトに Cloud Native Computing Foundation（CNCF）は、Kubernetes上でイベントドリブンなオートスケーリングを提供する「KEDA」（Kubernetes Event-driven Autoscaling）が、本番環境に十分使えるレベルに到達したとして、インキュベーションプログラムから卒業するプロジェクトになったと発表しました（CNCFの発表、KEDAの発表）。 [NEWS] Announcing the Graduation of #Kubernetes autoscaler #KEDA! https://t.co/qpSz3zyad5 pic.twitter.com/ETddPp8ENF — CNCF (
そこまで大規模じゃない EKS環境を（あまり）頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement
Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/
Kubernetes Pod の IP アドレスが枯渇しかけている場合に役立つ実証済みの解決策を紹介 | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 4 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Kubernetes の大きな強みの 1 つは、Pod ごとに固有のネットワーク アドレスがあることです。これにより、Pod が VM のように機能するため、デベロッパーはポートの競合などの煩わしい問題を気にする必要がありません。Kubernetes のその特性のおかげで、デベロッパーやオペレーターは作業を簡略化できます。また、設計機能の 1 つとして高い信頼性を獲得しているため、コンテナ オーケストレーターとしての人気が非常に高くなっています。Google Kubernetes Engine（GKE）は、VPC 内
Overall of Container Security for Application Engineer
ちがいからみるプラットフォームエンジニアリング / Platform Engineering from a difference's point of view
Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/
Docker社がTestcontainersの開発元AtomicJar社の買収を発表。Dockerでの統合テスト環境を強化
Docker社がTestcontainersの開発元AtomicJar社の買収を発表。Dockerでの統合テスト環境を強化 Docker社がTestcontainersの開発元であるAtomicJar社の買収を発表しました。 Big news! @AtomicJarInc is now part of @Docker! Together, we will continue to invest in and extend the open-source project that we all love @testcontainers. Read the blog by @bsideup: https://t.co/rh2rW8Q5PY pic.twitter.com/AEKHZWXKr6 — Testcontainers (@testcontainers) December 11, 2023
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
This was the biggest un-truth that I saw while working at AWS on the EKS team. On an almost weekly basis a customer would want to use AWS Fargate for a variety of reasons and one of them would be because it used Firecracker. For some reason–AWS marketing–that was better than traditional EC2 Xen virtualization. And no one at AWS would correct them. There was an unspoken policy to never point out th
Like many Go developers my applications are usually deployed in containers. When running in container orchestrators it’s important to set CPU limits to ensure that the container doesn’t consume all the CPU on the host. However, the Go runtime is not aware of the CPU limits set on the container and will happily use all the CPU available. This has bitten me in the past, leading to high latency, in t
三行で FireLens を使うことで ECS で稼働するアプリケーションのログ転送を簡単に実装できる しかし、ドキュメントに記載されている設定例をそのまま利用しただけでは実はログの取りこぼしがあった ログの取りこぼしを防ぐためにコンテナ間の依存関係とHealthcheckの設定を行った FireLens とは FireLens を簡単に言うと、「ECS のタスク定義の記述だけで Fluent Bit / Fluentd を使ったログ転送用のサイドカーコンテナが利用できる機能」でしょうか。 FireLens という個別のサービスやソフトウェアが存在するわけでは無いようです。 詳細は以下を参照ください。 症状 私が関わったとあるサービスでは ECS を使ってアプリケーションを稼働させていて、アプリケーションのログは FireLens により Fluent Bit を使ってログ転送を行っていま
Container Runtime Meetup #5の資料です
OrbStack Debug Shell provides useful commands & tools, making it easy to debug any container (even minimal/distroless/read-only containers that have no shell or commands). Compared to docker exec, Debug Shell has: Shell auto-complete and syntax highlightingEditors (nano, vim)Common tools (htop, curl, strace, ip, etc.)Colorful output in ls and other commandsPackage manager with over 80,000 packages
楽天グループ株式会社が運営するフリマアプリ「ラクマ」のインフラ基盤をAWS EC2 + AutoScalingGroupからKubernetes(EKS)に移行しました。このプロジェクトは約3年におよび、様々な調査や検証を行いました。 初めてKubernetesへの移行を考える企業にとって、大規模トラフィックを処理するための適切な構成を模索することは一筋縄ではいきませんでした。この発表では、どのような観点を持って調査を行い、どう構築していったか具体的な事例とともにお伝えします。
![[EC2からKubernetes]�楽天ラクマのコンテナ化の歩み](https://cdn-ak-scissors.b.st-hatena.com/image/square/fda7627eab224b9a0df97d9ab2fe2b0187bf8da5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F961b083651954d1dad15bba4a49b4fb0%2Fslide_0.jpg%3F26769230)
100万コンテナのKubernetesプラットフォームを5年間スケーラブルに運用するために乗り越えていること
CloudNative Days Tokyo 2023 での登壇資料です
Dockerコンテナの開発環境「Rancher Desktop」でWebAssemblyがサポートされた。Spinフレームワークを用いることで実現する。これでDocker DesktopやPodman Desktopを含む主要な環境でWebAssemblyがサポートされる。 SUSEがオープンソースで開発し提供しているDockerコンテナの開発環境「Rancher Desktop」の最新バージョンとなる「Rancher Desktop 1.13.0」で、WebAssemblyが実験的にサポートされると発表されました。 We're proud to introduce Rancher Desktop v1.13 Starting this release, we've enabled experimental support for #WebAssembly workloads, lever
WEARにおけるKubernetesネイティブな負荷試験基盤の導入とその効果 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部バックエンド部SREの山岡（@ymktmk）です。普段はファッションコーディネートアプリ「WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 昨年から、私たちのチームでは分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始し、先月ついにKubernetesへの移行が完了しました。 techblog.zozo.com また、Kubernetesへの段階的な移行と並行して、Kubernetesの柔軟性を活かした運用改善や開発者体験の向上に取り組んできました。その一環として、k6-operatorを活用した負荷試験基盤を作成しました。 本記事ではWEARにKubernetesネイティブな負荷試験基盤を導入した背景とその効果についてご紹介します。Kubernetes環境における負荷試験基盤の導入を検
この連載は、「LXCで学ぶコンテナ入門」というタイトルです。序盤を除くと、LXC自身を紹介するというよりは、Linuxカーネルに実装されているコンテナ関連の機能を紹介をすることが多く、カーネルの機能を紹介する際に、実行例でLXCを使ってきました。その後、LXCを開発しているLinuxContainersプロジェクトからは、コンテナマネージャとしてLXDの開発がスタートし、この連載でもLXDを使ってカーネルの機能を説明することがありました。 LXDは、コンテナと仮想マシンの両方を管理できるマネージャソフトウェアです。LXCもLXDも、OS環境を起動させるシステムコンテナを扱うことを主眼に開発されています。 gihyo.jpでは、LXDについては本連載ではなく、Ubuntu Weekly Recipeで柴田充也さんが頻繁に取り上げており、基本的な操作から応用まで幅広い話題が紹介されています。
Ubuntu Weekly Recipe 第796回LXDとIncus、今後どちらをUbuntuユーザーは使うべきか？ 本連載でも何度か紹介しているコンテナ・仮想マシンの管理システムである「LXD」がCanonicalの管理になった結果、コミュニティ版の「Incus」が登場しました。詳しい経緯は「LXCで学ぶコンテナ入門」の第55回「コンテナと仮想マシンのマネージャ"Incus"」に記述されています。今回は少し趣向を変えて、「UbuntuユーザーはLXDとIncusのどちらを使うべきか」という観点から、Incusを紹介します。 UbuntuとLXDとIncus 冒頭でも説明したように、LXDのコミュニティ版フォークとしてIncusが登場しました[1]。 フォークに至った詳細な流れは「LXCで学ぶコンテナ入門」が参考になりますが、かんたんに説明すると次のような時系列になります。 Lin
詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み | Amazon Web Services
Amazon Web Services ブログ 詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み この記事は Under the hood: Lazy Loading Container Images with Seekable OCI and AWS Fargate (記事公開日 : 2023 年 7 月 18 日) の翻訳です。 コンテナワークロード向けのサーバーレスコンピューティングエンジンである AWS Fargate が、Seekable OCI (SOCI) を使用してインデックス化したコンテナイメージの遅延読み込みをサポートしました。SOCI を使用してコンテナイメージを遅延読み込みすることで、AWS Fargate 上で Amazon Elastic Container Service (Amazon ECS)
自分が開発しているAmazon ECSデプロイツール ecspresso のmeet upを、JAWS-UGコンテナ支部のイベントとして開催していただきました。 参加された皆様、発表して頂いた8名の皆様、企画、運営してくださったJAWS-UGコンテナ支部の皆様、本当にありがとうございました！ 皆様のecspresso愛を感じて、作者冥利に尽きるイベントでした。ecspresso共々、今後ともよろしくお願いします。 jawsug-container.connpass.com 経緯とか しかしこれだけ利用者がいるならecspresso meetupとかできるんじゃないか。話すネタがないけど(Dev Dayで話しちゃうので)— fujiwara (@fujiwara) 2023年5月25日 AWS Dev Day 2023 Tokyoの発表 でecspressoをご利用の皆様を紹介したくて名前を
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
フロントエンドパフォーマンス 入門
IntelliJ IDEA を知らなかった 自分に教えたい小ネタ集 / IntelliJ IDEA Hints for My Past Self
Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT Communications Engineers' Blog
本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露
Amazon CloudWatch Logs announces streaming API support for Live Tail
We are excited to announce streaming API support for Amazon CloudWatch Logs Live Tail, making it possible to programmatically view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested within your own custom applications or dashboards inside or outside of AWS. Live Tail console has been providing customers a rich out-of-the-b
コンテナ・仮想マシンの管理システムである「LXD」は、lxcコマンドを駆使してCLIで管理します。長らくLXD向けのGUIが求められていましたが、先日ようやくWeb UIが実験的に投入されました。今回はこの「LXD-UI」を実際に試してみましょう。 図1 LXD-UIを使えばウェブブラウザーからもLXDインスタンスのデスクトップ画面を操作できる LXDのUI事情 最初にも説明したように、LXDとはUbuntuに搭載されているコンテナ・仮想マシンの管理システムです。このうち「コンテナ」は、いわゆる「システムコンテナ」を扱います。Dockerのようなプロセスコンテナ、Flatpak/snapのようなアプリコンテナとは異なり、仮想マシンのようにsystemdがinit（PID=1）として立ち上がり、カーネルを除けば普通のUbuntuの複数のプロセスが同じコンテナの中で動くシステムです。また、シス
WebAssemblyによるサーバレスをKubernetes上で実現する「SpinKube」、CNCFへの寄贈を発表
WebAssemblyによるサーバレスをKubernetes上で実現する「SpinKube」、CNCFへの寄贈を発表 WebAssemblyによるサーバレスプラットフォームをKubernetes上で実現するオープンソースの「SpinKube」が、Cloud Native Computing Foundation（CNCF）へ寄贈されたことが発表されました。 Today on the #KubeCon + #CloudNativeCon keynote stage, @michelledhanani alongside @Azure & @ZEISS_Group shared how & why #Wasm has taken root in the cloud native world. Read about it getting practical & about @SpinKube's
GitHub - glasskube/glasskube: 🧊 The next generation Package Manager for Kubernetes 📦 Featuring a GUI and a CLI. Glasskube packages are dependency aware, GitOps ready and can get automatic updates via a central public package repository.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon ECR pull through cache now supports additional upstream registries
Amazon Elastic Container Registry (ECR) now includes Docker Hub, Azure Container Registry, and GitHub Container Registry as supported upstream registries for ECR’s pull through cache feature. With today's release, customers can configure a rule that is designed to automatically sync images from the newly supported upstream registries to their private ECR repositories. ECR customers can create a pu
New List: Use --list to explore a Pack file, and it will print a list of all files.Partial Unpack: To unpack a specific file or folder in a Pack file, use --include.Pro notes: To list an specific folder, you can use --include together with --list.You can use multiple --include to unpack or list in one go. It will use an optimized algorithm to process each item just once.The --include command also
オープンソースのKubernetesネットワーク可観測性プラットフォーム「Retina」をリリース Microsoft
Microsoftは2024年3月19日（米国時間）、特定のクラウドに依存しないオープンソースのKubernetesネットワークオブザーバビリティ（可観測性）プラットフォーム「Retina」をリリースした。Retinaは、コンテナネットワークインタフェース（CNI）、OS、クラウドにかかわらず、Kubernetesのワークロードトラフィックを可視化、観測、デバッグ、分析できる。 Microsoftによると、Retinaはアプリケーションとネットワークの健全性とセキュリティを監視するための一元化されたハブとして機能するという。また、DevOps、SecOps、コンプライアンスのユースケースに取り組むクラスタネットワーク管理者、クラスタセキュリティ管理者、DevOpsエンジニアに、実用的な洞察を提供できるとしている。 関連記事 非同期マルチスレッドフレームワーク「Pingora」をオープンソー
Gain total lifecycle visibility, reduce risks and stop attacks with the most comprehensive, fully integrated Cloud Native Application Protection Platform (CNAPP)
本記事は 【コンテナウィーク】 1日目の記事です。 💻 告知記事 ▶▶ 本記事 ▶▶ 2日目 📱 こんにちは。梅原です。 皆さんはCI/CDパイプラインやってますか。昨今はパイプラインファーストという考え方もあり、ソースコードの変更反映をトリガーにテストやビルド、デプロイまで自動でやることは多いのではないでしょうか。 今回はAWSでCI/CDパイプラインを実現するためのサービスであるCodeシリーズ（CodeCommit、CodeBuild、CodeDeploy、CodePipeline）を使ってECSへ自動デプロイする流れを見ていきます。 AWSでCI/CDパイプラインを実現するために そもそもCI/CDパイプラインは、継続的インテグレーション/継続的デリバリーの略で、これまで手動でしていたテストやビルド、デプロイ作業を自動化･高速化するために使われるものです。 CI/CDパイプライ
こんにちは、ブログ運営担当の小嶋です。 今年も、月曜日があと7回となり年末年始の業務確認などが始まってくる頃となりました！ 1年が終わるのが早いですね…。 さて、今月のブログイベントのお知らせです！ 11月のブログイベントは「コンテナウィーク」です！ アプリケーションの動作環境としてスタンダードになりつつあるコンテナ。当社でも様々な案件で利用する機会が増えています！今回のイベントでは、そんなコンテナの案件に携わっている当社インフラメンバーに執筆してもらいます！ 記事掲載日と記事内容 更新され次第、こちらの記事にもリンクを掲載します。ぜひ、ご期待ください！ 11/13(月)：梅原航 tech.nri-net.com 11/14(火)：堀晃太郎 tech.nri-net.com 11/15(水)：加藤俊稀 tech.nri-net.com 11/16(木)：尾澤公亮 tech.nri-net.
Kubernetesに最適化されたコンテナランタイム「cri-o」、十分成熟したプロジェクトとしてCNCFの卒業プロジェクトに
Kubernetesに最適化されたコンテナランタイム「cri-o」、十分成熟したプロジェクトとしてCNCFの卒業プロジェクトに Kubernetesなどの開発をホストしているCloud Native Computing Foundation（CNCF）は、Kubernetesに最適化されたコンテナランタイム「cri-o」が、十分に成熟したプロジェクトとして卒業プロジェクトになったことを発表しました。 Kubernetesが管理するコンテナはもともとDocker Engineをコンテナランタイムとして採用していましたが、2016年にrunCをコアにしたKubernetesに最適化したコンテナランタイムの開発が始まります。 また、CNCFがKubernetesとコンテナランタイムのあいだのインターフェイスを「CRI」として標準化し、このCRIとコンテナランタイムの標準であるOCIの両方に準拠し
「Startup Day 2023」は日本中のAWSを利用するStartupが、AWSの知見を披露するHubとなる1日です。2023年はサブテーマに「スタートアップ冬の時代を共に乗り越える」を掲げて、スタートアップが面しているこの逆境をどうやって跳ね除け、成長につなげていけるかを共有します。ここで、株式会社SODAの林氏が登壇。ここからはコスト削減のために具体的に実行したことについて話します。前回はこちらから。 コスト削減のために実行したこと1 VPC Endpointの導入 林雅也氏：ここまでどういうふうにコストを削減していくかの方針を見ていったので、それに沿って、実際に「SNKRDUNK」（以下、スニダン）でどのようなコスト削減が行われてきたのかをお話しします。 方針で言っていたとおり、まずはもちろんボトルネックを探すところからです。（スライドを示して）こちらの図は、コスト削減の取り組
Here are 5 ways to optimize Linux container size and build small images. When Docker exploded onto the scene a few years ago, it brought containers and container images to the masses. Although Linux containers existed before then, Docker made it easy to get started with a user-friendly command-line interface and an easy-to-understand way to build images using the Dockerfile format. But while it ma
Introducing Fly Kubernetes Author Name Senyo Simpson @senyeezus @senyeezus Image by Annie Ruygt We’re Fly.io, and if you’ve been following us awhile you probably just did a double-take. We’re building a new public cloud that runs containerized applications with virtual machine isolation on our own hardware around the world. And we’ve been doing it without any K8s. Until now! We’ll own it: we’ve be
runc working directory breakout (CVE-2024-21626) by Mohit Gupta Snyk recently identified a flaw in runc <= 1.1.11, CVE-2024-21626. This issue effectively allowed an attacker to gain filesystem access to the underlying host's OS, which could be used to gain privileged access to the host. This has an impact on orchestration based environments which use runc, such as Kubernetes. An attacker able to d
Image from UnSplash I’ve led infrastructure at a startup for the past 4 years that has had to scale quickly. From the beginning I made some core decisions that the company has had to stick to, for better or worse, these past four years. This post will list some of the major decisions made and if I endorse them for your startup, or if I regret them and advise you to pick something else. AWS Link to
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon ECS and AWS Fargate now integrate with Amazon EBS
人間によるKubernetesリソース最適化の”諦め” そこに見るリクガメの可能性
Fargate Is Not Firecracker
Go, Containers, and the Linux Scheduler
FireLensでログ転送するときは依存関係とHealthcheckを設定しないとログを取りこぼすことがある
Podman_CRI-O_update_2024-02
Debug Shell · OrbStack Docs
[EC2からKubernetes]�楽天ラクマのコンテナ化の歩み
「Rancher Desktop 1.13」で、WebAssemblyを実験的サポート開始
第55回 コンテナと仮想マシンのマネージャ"Incus" | gihyo.jp
第796回 LXDとIncus、今後どちらをUbuntuユーザーは使うべきか？ | gihyo.jp
ecspresso MeetUpを開催していただきました - 酒日記 はてな支店
GKEでMLバッチ運用のコツ - エムスリーテックブログ
第769回 Canonicalが開発するLXDの公式Web UIであるLXD-UIを試してみる | gihyo.jp
Pack
Kubernetes Exposed: One Yaml away from Disaster
改めてCI/CDパイプラインを使ったECS自動デプロイの流れを整理する - NRIネットコムBlog
ブログイベント「コンテナウィーク」開催します！ - NRIネットコムBlog
コスト削減で重要な「ボトルネックから潰す」「覚悟を持つ」 約60,000ドル削減のため、具体的に実行した6つのこと
How to build tiny container images
Introducing Fly Kubernetes
runc working directory breakout (CVE-2024-21626)
(Almost) Every infrastructure decision I endorse or regret after 4 years running infrastructure at a startup