Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Tech Blog
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
GitHub - kubeshark/kubeshark: eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.
Network Observability for SREs & AI Agents Live Demo · Docs Kubeshark indexes cluster-wide network traffic at the kernel level using eBPF — delivering instant answers to any query using network, API, and Kubernetes semantics. What you can do: Download Retrospective PCAPs — cluster-wide packet captures filtered by nodes, time, workloads, and IPs. Store PCAPs for long-term retention and later invest
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
Kubernetes 1.22で削除されるBeta APIが結構多いのでまとめてみる - inductor's blog
はじめに Kubernetesは直近3マイナーバージョンをUpstreamのサポート対象にしており、特に1.19以降では各バージョンごとに1年のパッチサポートがあります。2021年7月現在の最新版は1.21なので、1.19以降の3マイナーバージョンがサポート対象になっています。詳細については公式ドキュメントにも記述があります。 なお、GKE、EKS、AKSなどのKubernetesディストリビューションに関するサポートポリシーはUpstreamとは違い各ベンダーが責任を追っているため、各社のドキュメントをご覧いただければと思います。 KubernetesのAPI deprecationについて Kubernetesではマイナーバージョンごとに新しい機能が追加されたり、古い機能や利用の少ない機能を非推奨化または廃止するためのポリシー、Deprecation Policyが決められています。
Kubernetesをとりまくコンテナランタイムの栄枯盛衰 / The rise and fall of the container runtimes surrounding Kubernetes
A talk at Kubernetes Novice Tokyo #10
セキュリティの不十分なKubernetesインスタンスに悪用のおそれ
概要 Unit 42のリサーチャーは2020年10月から2021年2月までインターネット上のセキュアではないKubernetes（k8sとも）クラスタを定期的にスキャンして分析してきました。Kubernetesクラスタの構成上のセキュリティは強化が可能で、また必要でもあります。そのように構成されていない場合、IPやポート、APIを知っていれば誰でも匿名でこれらのクラスタにアクセスできてしまいます。私たちのチームのリサーチャーが特定したセキュアではないKubernetesクラスタは2,100個あり、それらは5,300個のノード、31,340個のCPU、75,270個のポッドで構成されていました。これらセキュアではないクラスタは、Eコマース、金融、ヘルスケアなどのセクタの組織によって運用されており、さまざまなアプリケーションが実行されています。APIトークンやデータベースの認証情報、ソースコー
GraphQLリファレンスガイド: 柔軟でわかりやすいAPIの構築
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
Kubernetesをちょっと理解したあなたに贈るGKEの実践ノウハウ4選 - MonotaRO Tech Blog
はじめに 商品推薦システム: RecSys について GKEを採用した理由 GKEノウハウの紹介 RegionalクラスタでZone, NodeごとにPodが分散されるようにAffinityを設定 graceful shutdownするコンテナでもpreStopが必要 コンテナネイティブの負荷分散を利用 負荷試験によるHPAのパラメータ調整 まとめ はじめに こんにちは。EC基盤グループの池田（@progrhyme）です。 モノタロウでは昨年、商品のレコメンデーションに用いるシステムを内製化するという取り組みを行いました。 私もこのプロジェクトに参加し、主にGoogle Kubernetes Engine（以下、GKE）上でのアプリケーションの構築・設定やCI/CD設定、監視設定などを行っていました。 私自身、本番運用するGKEのプロダクトを本格的に触るのは、本件が初めての経験でした。 そ
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
Scaling Kubernetes to 7,500 nodes
We’ve scaled Kubernetes clusters to 7,500 nodes, producing a scalable infrastructure for large models like GPT-3, CLIP, and DALL·E, but also for rapid small-scale iterative research such as Scaling Laws for Neural Language Models. Scaling a single Kubernetes cluster to this size is rarely done and requires some special care, but the upside is a simple infrastructure that allows our machine learnin
Amazon EKS アップグレードにてこずった話 - エニグモ開発者ブログ
こんにちは。Enigmoインフラエンジニアの夏目です。 この記事は Enigmo Advent Calendar 2020 の13日目の記事です。 なんだか競馬関連のエントリがいっぱいですが、弊社の主要サービスは競馬予想サイトではありませんので誤解なきよう。僕は競馬のことはさっぱりわからないのですが、先月末のジャパンカップは大変熱いレース展開でしたね。着順自体はまったく面白みがなく収支マイナスになってしまいましたが。 さておき。1年前と同様、今年もKubernetesクラスタ運用に翻弄される日々を過ごしておりまして、今日の記事はそんなKubernetes...というかAmazon EKSクラスタに関するお話です。 Kubernetesのリリースサイクルに乗り遅れるな 皆さんご存知の通りKubernetesのマイナーバージョンはおよそ3ヶ月ごとにリリースされ、各マイナーバージョンは最新バージ
Dockershimを非推奨とした「Kubernetes 1.20」が正式リリース。Graceful node Shutdown機能がアルファ版で登場など
Dockershimを非推奨とした「Kubernetes 1.20」が正式リリース。Graceful node Shutdown機能がアルファ版で登場など オープンソースとして開発されているコンテナオーケストレーションツール「Kubernetes」の最新版「Kubernetes 1.20」正式版がリリースされました。 We just released #Kubernetes 1.20, our third and final release of 2020! This release consists of 42 enhancements: 11 enhancements have graduated to stable, 15 enhancements are moving to beta, and 16 enhancements are entering alpha. https://
KubernetesのDockershim廃止における開発者の対応 - inductor's blog
はじめに 今朝に書いたブログが思ったより反響が大きくて、「Dockerが死んだ」という勘違いをされている方も多かったので追加でエントリーを書きました。 blog.inductor.me 決してそんなことはないので、対応が必要なケースを見ていこうと思います。 はじめに 対応が必要ではないケース Kubernetesを使わない人たち 本番はKubernetesでも、開発にDocker Composeを使っているデベロッパーの開発環境 対応が必要なケース 開発環境でも手元でKubernetesを利用する人たち NVIDIA DockerをKubernetesで使っている人たち Kubernetesワークロードの中で「Docker in Docker」や「Docker APIに依存した処理」を動かしている場合 Dockerの機能を使ってこれまでやっていたことについて 対応が必要ではないケース Ku
注目のSPIFFE、その概要とKubernetesへの導入方法
はじめに 「KubeCon + CloudNativeCon」でのセキュリティに関するセッションで紹介されたり、IstioをはじめとしたService MeshプロダクトのWorkload Identityとして採用されたりと、最近になりCloud NativeコミュニティでSPIFFEの名を耳にすることが多くなってきました。本記事では、SPIFFEが求められた背景やSPIFFEの概要、Kubernetesへの導入方法などを紹介していきます。 SPIFFEが求められた背景 マイクロサービスアーキテクチャ、コンテナオーケストレーター、クラウドコンピューティングのような分散システムを利用している環境では、サービスのスケーリングなどに伴いノードやアプリケーションが頻繁かつ動的に分散配置されるため、アプリケーションに割り当てられるIPアドレスが短期間で変化してきます。 このような環境では、ネットワ
Scaling Kubernetes Networking With EndpointSlices
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. EndpointSlices are an exciting new API that provides a scalable and extensible alternative to the Endpoints API. EndpointSlices track IP addresses, ports, readiness, and topology information for Pods backing a Service. In Kubern
Kubernetes 1.19正式版がリリース。Ingress APIが正式版に、サポート期間は9カ月を1年に延長
Kubernetes 1.19正式版がリリース。Ingress APIが正式版に、サポート期間は9カ月を1年に延長 オープンソースとして開発されているコンテナオーケストレーションツール「Kubernetes」の最新版「Kubernetes 1.19」正式版がリリースされました。 #Kubernetes 1.19 is here! The release has 33 enhancements: 12 are moving to stable, 18 in beta, and 13 in alpha. Thank you so much to everyone who contributed! https://t.co/joMp6sQwP8 — Kubernetes (@kubernetesio) August 26, 2020 これまでKubernetesは3カ月程度でバージョンアップが行
「AWS Controllers for Kubernetes」(ACK)、AWSが公開。KubernetesからAWSのサービスを定義可能
AWSは、AWSのサービスやリソースをKubernetesのkubectlで定義できる「AWS Controllers for Kubernetes」(ACK)を、オープンソースとしてデベロッパープレビューで公開したことを明らかにしました。 AWS Controllers for Kubernetesを用いることで、Kubernetesのクラスタから直接AWSのサービスとリソースを定義し、使用できるようになります。 現時点で、Amazon S3、Amazon SNS、Amazon SQS、DynamoDB、Amazon ECR、AWS API Gatewayなどのサービスに対応しています。今後ほかのサービスにも対応が広がる見通しです。 これまでKubernetesからAWSのサービスやリソースを呼び出すためのソフトウェアとして「AWS Service Operator」がありました。今回リ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubeshark — Deep Network Observability for Kubernetes
Talos Linux - The Kubernetes Operating System
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
