Talked at Kubernetes Meetup Tokyo #31 ECS Agent にアイコンが欲しいですイシューはこちら 👉 https://github.com/aws/containers-roadmap/issues/914
はじめまして。メルカリの Microservice Platform CI/CD とメルペイの Architect で Software Engineer Internship をしている riita10069 です。 この記事は、Merpay Tech Openness Month 2021 の3日目の記事です。 本記事では、私が Kubernetes1のコントローラー2を開発する上で使用している開発環境について紹介したいと思います。 コントローラーの実行環境についてまとまっていなかった方や、これからコントローラーを実装するけれど環境構築で悩んでいる方などの参考になれば嬉しいです。 Abstract Kubernetes のコントローラーを開発する場合に、動作確認をしたり、自動テストを作成するのには、実際にコントローラーを Kubernetes の環境上で動作させる必要があります。 具体
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
こんにちは、カート決済SREブロックの飯島と、ECプラットフォーム基盤SREブロックの織田です。 本記事では複数チームで運用する共通のAWSアカウントとKubernetesにおけるコストの可視化についてご紹介します。 背景 コスト可視化に対する課題 課題解決へのアプローチ AWSリソースのコスト可視化 AWSコスト配分タグ タグの定義と運用ルール タグの付け方 AWS Cost Explorer AWSコスト配分タグの活用例 Kubernetesクラスタのコスト可視化 Kubecost 比較検討 カスタムバンドル採用の決め手 アーキテクチャ 可視化の仕組み ダッシュボード 効果 コスト可視化の活用事例 最後に 背景 現在、ZOZOTOWNはモノリスなサービスを機能ごとに分け、マイクロサービスに移行しながらモダンアーキテクチャへのリプレイスを実施しています。マイクロサービスの移行先としてクラ
Goアプリケーション*4など、静的リンクしているバイナリでは利用できないsuidしたバイナリはTelepresence Shell内で動作しない/etc/resolv.confをパースするようなカスタムDNSリゾルバ、自身に対するDNS lookupは動かない *2:全制約事項についてはa href="https://www.telepresence.io/reference/methods" target="blank">公式ページを参照してください。 *3:LinuxのLD_PRELOADとmacOSのDYLD_INSERT_LIBRARIESを利用した方法で、詳細はこちらのブログで詳しく解説されています。 *4:go buildではなくgccgoによるビルドやGODEBUG環境変数でnetdnsのリゾルバをcgoに変更するなどのワークアラウンドは存在しますが、非推奨です。 *5:--
Red Hatは、KubernetesにDevOps関連の機能などを追加拡張したコンテナプラットフォームのディストリビューション「OKD」の最新版「OKD 4」正式版のリリースを発表しました。 OpenShiftのUpstream版「OKD」のバージョン4がGA対応しましたっ! Kubernetesとそのエコシステムが簡単にセットアップでき、無償で使えます。#openshiftjp https://t.co/Jaw00YvNa3 — OpenShift Japan Community (@openshiftjp) July 15, 2020 OKDは前バージョンまではRed Hatが提供するKubernetesを基盤としたコンテナプラットフォームである「OpenShift」のコミュニティ版と位置付けられる「OpenSHift Origin」と呼ばれていましたが、本バージョン前バージョンであ
HashiCorpは、Kubernetesなどクラウドネイティブのためのオープンソース開発をホストする団体「Cloud Native Computing Foundation」に加盟したことを発表しました。 同社は以前からインフラ構成ツールのTerraformやサービスディスカバリのConsulなど、クラウドにおけるシステム構築で重要なソフトウェアやサービスを提供してきました。 今回のCloud Native Computing Foundation(CNCF)への加盟で、クラウドネイティブのコミュニティやイベントへの参加をこれまで以上に積極的にしていくとのことです。 さらにKubernetesをはじめとするCNCFの各プロジェクトとの統合を強めていくことも表明しています。下記は「HashiCorp Joins the CNCF」からの引用です。 We are committed to m
近年、「クラウドネイティブ」の基盤として、「コンテナ」「Kubernetes」が関心を集めています。Kubernetes自身の紹介については、書籍や記事がたくさん提供されていますが、Kubernetesを支える周辺の技術やツールについては、技術の移り変わりが早くなかなかキャッチアップが難しい状況です。 そこで本連載では、Kubernetesやクラウドネイティブをより便利に利用する技術やツールについて概要や使い方を凝縮して紹介していきます。初回でKubernetesの現状について整理しつつ、連載の全体像と多種多様なKubernetes/クラウドネイティブ周辺ツールの一部を紹介します。 Kubernetesの近況、関心を集めている理由 近年、コンテナ基盤としてKubernetesが関心を集めています。Kubernetes/クラウドネイティブに関する最大規模のカンファレンスとして、「KubeCo
AWSは、AWSのサービスやリソースをKubernetesのkubectlで定義できる「AWS Controllers for Kubernetes」(ACK)を、オープンソースとしてデベロッパープレビューで公開したことを明らかにしました。 AWS Controllers for Kubernetesを用いることで、Kubernetesのクラスタから直接AWSのサービスとリソースを定義し、使用できるようになります。 現時点で、Amazon S3、Amazon SNS、Amazon SQS、DynamoDB、Amazon ECR、AWS API Gatewayなどのサービスに対応しています。今後ほかのサービスにも対応が広がる見通しです。 これまでKubernetesからAWSのサービスやリソースを呼び出すためのソフトウェアとして「AWS Service Operator」がありました。今回リ
はじめに Kubernetesで、パフォーマンスやキャパシティの監視を行う際、Prometheusなどを使い各種メトリクスを収集しGrafanaなどでグラフ化している人も多いのではないでしょうか。 本ドキュメントでは、KuberntesにてPV(Persistent Volume)を利用する際、モニタリングにて利用できるストレージ関連のメトリクスを紹介します。 ※ Kubernetes 1.17.3, Node exporter 0.18.1時点のメトリクスになります。 PVのマウントと監視範囲 PVがどのようにマウントされているのかを一例を用いて説明します。 以下の図は、外部ストレージから提供されているiSCSI VolumeがPod内のコンテナのディレクトリにマウントされるまでの、各デバイスファイルとディレクトリのマウントについて示しています。 まず、外部ストレージにより提供されたVo
はじめに お仕事でプリセールスをしているため、お客様やSIパートナー様といっしょに「ぜったいにサービスを止められないシステム」について議論することが多くあります。 一方、クラウドはオンプレに比べてスケーラブルな構成をとることが得意です。したがって、ユーザーの利用が時間的にばらつきがあるシステムやスパイクアクセスが発生するシステムなどの場合は、クラウドを提案する良いチャンスだったりもします。 このブログではそのようなニーズを満たすクラスターを運用するときに気を付けたいことや、私自身が検証していて気づいたことをホワイトボードに書く感覚で、だらだらと書きとめます。 なお、本内容はたまたまAzureが提供するKubernetesマネージドサービスである「Azure Kubernetes Service(以下AKS)」を使って検証しましたが、基本的な考え方はやGoogle CloudのGKEやAWS
ヤフーのIaaSを支えるKubernetes/Helm――新卒1、2年目エンジニアは2017年から塩漬けの400ノードをどうアップデートするか:特集:「惰性をやめる、慣習を疑う」こんどこそ楽になる運用管理(4) Kubernetesのクラスタ数は10以上あり、その配下にある400以上のノードが支えるヤフーのIaaS基盤。その規模故にコンポーネントの管理に使うKubernetesとHelmのバージョンアップは2017年から行っていなかった。そして今、止まった時を動かすべく、新卒1、2年目のエンジニアが大規模環境のアップデートに挑む――運用管理者に光を当てるオンラインイベント「Cloud Operator Days Tokyo 2021」の同社による講演から、大規模Kubernetes環境運用のヒントを学ぼう。 2017年から時を止めたKubernetesとHelm Yahoo! JAPANの
マイクロサービスとコンテナの進化に伴い、開発者がソフトウェアを設計、構築、実行する方法は大きく変わりました。これらのアーキテクチャは、分散システムの新しい構成要素を提供し、多くの開発者やアーキテクトが慣れ親しんだものとは異なる一連のプラクティスを必要とします。本書は、Kubernetes上でクラウドネイティブアプリケーションを設計および実装するための再利用可能なパターンを解説します。 はじめに、コンテナベースのクラウドネイティブなアプリケーションを作るための基本原理とプラクティスを紹介し、コンテナとプラットフォーム間の様々な相互作用を管理する方法を説明します。次に、Kubernetesプラットフォームの構成要素であるPod内のコンテナをまとめるためのパターンを紹介し、Kubernetesでのアプリケーション設定の扱い方を学びます。またアプリケーションがコンテナ化され、Kubernetesに
Introduction When working with Kubernetes, Out of Memory (OOM) errors and CPU throttling are the main headaches of resource handling in cloud applications. Why is that? CPU and Memory requirements in cloud applications are ever more important, since they are tied directly to your cloud costs. With limits and requests, you can configure how your pods should allocate memory and CPU resources in orde
IIJ Raptorサービス部のエンジニア、RyuSAです。普段はアプリケーションの実装やアーキテクチャ、最近はKubernetesを使った業務を担当しています。 唐突ですが、こんなものが作りたいな〜と思いたちました。 複数のRaspberry Piを物理的に分散して配置、それぞれのPi上でWi-Fi APを起動し同一のSSIDとパスワードを設定……とすれば、クライアント側でローミングして途切れにくいWi-Fi環境を簡単にセットアップできそうだなと🤔 というのも、個人的な話で恐縮ですが今自分の住んでいる部屋がざっくりこのような形をしております。 ブロードバンドルータと寝室の間にリビングとキッチン、そして壁が挟まっています。このせいでか寝室にWi-Fiの電波が少し届きにくいのが現状です。 もちろん新しい”つよつよ”なWi-Fiルータを購入して敷設すれば良いだけの問題なのですが、わたくしこれ
第1回目の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recommender)」について紹介します。 はじめに こんにちは。3-shakeで技術顧問を勤めている青山真也(@amsy810)です。 3-shakeでは、CloudNative技術などを用いたSREの推進などを行っており、Kubernetesに関連した各種ソフトウェアへのキャッチアップなども積極的に行っています。 そこで、本連載では「OSS Insight」で公開されているソフトウェアや、最近話題になっているが、まだ詳細についてまとめられていないようなKubernetesに関連するツール・ソフトウェアを検証し、3-shakeのメンバーで紹介していきます。 第1回の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recomm
こんにちは。 社会人になってやりたいことに対する自分の時間が圧倒的に足りなくなり謎の焦燥感に駆られています、sanposhihoです。 僕は、普段趣味の時間を使ってKubernetesにcontributeしています。昨年に MinDomains というPod Topology Spreadの新しい機能のKEPが承認され、alpha機能としてKubernetes v1.24でリリースされました。僭越ながら、KEPのAuthorは僕、実装も僕です。 KEP-3022: min domains in Pod Topology Spread ちなみにこの機能はKubernetes v1.24の一部として、今年の5月にすでにリリースされています。ふと「なかなかないことだから、日本語で記事に残しておくことに意味ある気がするな」と思ったので筆をとっています。 KEPを含めて5ヶ月くらい取り組んでいたM
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム(+分散Key Value Store)の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約:素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか? 自分は学生時代からConoHa VPS(コンビニ支払いできるのが学生にやさしい)、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
This post is also available in: English (英語) 概要 Unit 42のリサーチャーは2020年10月から2021年2月までインターネット上のセキュアではないKubernetes(k8sとも)クラスタを定期的にスキャンして分析してきました。Kubernetesクラスタの構成上のセキュリティは強化が可能で、また必要でもあります。そのように構成されていない場合、IPやポート、APIを知っていれば誰でも匿名でこれらのクラスタにアクセスできてしまいます。私たちのチームのリサーチャーが特定したセキュアではないKubernetesクラスタは2,100個あり、それらは5,300個のノード、31,340個のCPU、75,270個のポッドで構成されていました。これらセキュアではないクラスタは、Eコマース、金融、ヘルスケアなどのセクタの組織によって運用されており、さまざ
Kubernetesを用いてハイパーコンバージドインフラを実現する「Harvester」、Rancher Labsがオープンソースで公開 Rancher Labsは、Kubernetesを用いてハイパーコンバージドインフラを実現するソフトウェア「Rancher Harvester」をオープンソースで公開したことを明らかにしました。 Meet Harvester! Open Source #Hyperconverged Infrastructure (HCI) Software built with Kubernetes to provide integrated #virtualization and #storage on bare-metal servers. https://t.co/w6Ai4lj6gK @yasker — Rancher Labs (@Rancher_Labs)
「Kubernetesを誰でも使いやすく」 エンジニアの負担が少ないコンテナサービスがあるってホント? 企業のDX(デジタルトランスフォーメーション)が広まる中、その一環としてアプリケーション開発の現場では、いろいろな環境に対応できる柔軟性が求められている。そこで環境を移行しやすいアプリを開発できる技術として注目が集まっているのが、コンテナと呼ばれる仮想化技術だ。コンテナベースのアプリはさまざまな環境で軽量・高速に動かせるメリットがある。 一方で、コンテナ環境を安定して運用するには、サーバ群の管理などでこれまでのITインフラとは異なるやり方が求められる。解決策としてはコンテナを統合管理できるツール「Kubernetes」の利用などが挙げられるが、エンジニアの学習コストや運用のハードルが高く、導入が難しい場合もあるかもしれない。 こういったニーズに対応するのが、IDCフロンティアが5月に提供
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 もう2年前のエントリになりますが、IIJがKubernetesの活用を始めたきっかけを紹介したのがこの記事でした。 ようこそ、Kubernetes沼へ。商用サービスSREの現場から このとき、「不安を感じることなく、確実にシステムをアップデートする手段をKubernetesがもたらしくてくれるものと期待して使い始めた」と書きました。今振り返ってみると、その効果は期待を上回るものでしたが、いい意味で予想と大きく異なっていたことが一つありました。それは、言い方が難しいのですが、Kubernetesが思った以上にコンフィグレ
kptでWETなKubernetesマニフェスト管理 みなさん、Kubernetesでのマニフェスト管理ってどうしてますか? Kubernetesでは、GitOpsと呼ばれる運用方法を用いてマニフェストをGitで管理することが一般的です。 マニフェストをGitで管理することで、変更履歴の追跡、コードレビュー、環境ごとのリリース管理をおこなうことができます。 一方でWall of YAMLとも呼ばれるように、マニフェスト管理は一筋縄ではいかず、Kubernetesの利用者を悩ませる課題の1つとなっています。 本記事では、メジャーなマニフェスト管理ツールの課題やマニフェストのリリース方式の課題、WETリポジトリと呼ばれるマニフェストの管理方法を紹介した後、 kptと呼ばれるツールを利用し、既存ツールの課題やリリース方式の問題点を解決する方法について解説します。 マニフェスト管理ツール Kube
こんにちわ、あるいは、こんばんわ。IoTビジネス事業部プラットフォームサービス課のエンジニア曽我です。 Kubernetes 使ってますか?Kubernetes を利用するとアプリケーション(コンテナ)のデプロイや死活監視、スケーリングが簡単にできて便利?まだまだですね。Kubernetes の真の価値は Service リソースによるネットワーク設定の自動化にあります。ネットワーク機器の動的制御は技術ハードルが高く、オンプレミス環境での実現は困難を極めます。Service はクラスタ内のコンテナ間の連携を自動化するだけでなく、クラスタ外との接続点であるネットワークロードバランサの設定も自動化できます。 本記事では Kubernetes をサービスに活用し Kubernetes の価値を最大限利用する方法を IIJ IoT サービスの今年リリースされたデバイスリンク機能を例にご紹介します。
MicrosoftがKubernetesソフトウェア「Krustlet」をRustで開発している理由:柔軟性、安全性、セキュリティの恩恵 Microsoft Azure部門のDeisLabsは、2020年4月に公開したオープンソースのKubernetesソフトウェア「Krustlet」を、「Rust」で開発している理由を解説した。 Microsoft Azure部門のDeisLabsは2020年4月29日(米国時間)、同月に公開したオープンソースソフトウェア「Krustlet」を、オープンソースのシステムプログラミング言語「Rust」で開発している理由を解説した。 現在はv0.2.0が公開されているKrustletは、オープンソースの広く普及したコンテナ管理ツール「Kubernetes」でWebAssemblyモジュールを実行するためのツールだ。Kubernetesは、主にオープンソースの
We are hiring! Come build the future of remote development environments with us. DevPod is a client-only tool to create reproducible developer environments based on a devcontainer.json on any backend. Each developer environment runs in a container and is specified through a devcontainer.json. Through DevPod providers, these environments can be created on any backend, such as the local computer, a
PackerBuild and manage images as code
2021/07/16追記: Server Side ApplyするときにClientで差分検出して無駄なリクエストを発生させない方法を書きました。こちらの記事もご覧ください。 前回の記事では、Reconcile処理において無駄な更新処理を発生させないさまざまな実装方法を紹介しました。 その中で、Server Side Apply方式では更新に必要のないフィールドがリクエストに含まれてしまうために、それを取り除く処理を書く必要があり面倒だと書きました。 まもなくリリースされるKubernetes 1.21では、Server Side Applyのこの問題を解決する機能が導入されるようです。 Apply for client-go's typed clients この新機能では各リソース用にApplyやApplyStatusなどのメソッドが追加されます。 例えばDeployment用のAppl
米VMwareは8月25日、クラウド基盤(PaaS)などの設定ミスをチェックできるツール「CloudHealth Secure State」の無料版を提供すると発表した。 AWS、Microsoft Azure、Google Cloud Platform、Kubernetesなどの設定ミスを検知して通知する。エンタープライズ版に比べ、チェックできるクラウドアカウントの数や更新頻度、データ保管期間などを制限している。 クラウドの設定ミスは、情報漏えいやマルウェア感染などのリスクになる。2022年にはエイチームや研修サービスを提供するリスクモンスターなどで、情報漏えい事案が発生した。こうした問題を防ぐツールは「CSPM」(Cloud Security Posture Management:クラウドセキュリティ動態管理)と呼ばれ、VMwareなどいくつかの情報セキュリティ企業が提供を始めている。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く