オープンソースのKubernetesネットワーク可観測性プラットフォーム「Retina」をリリース Microsoft
Microsoftは2024年3月19日（米国時間）、特定のクラウドに依存しないオープンソースのKubernetesネットワークオブザーバビリティ（可観測性）プラットフォーム「Retina」をリリースした。Retinaは、コンテナネットワークインタフェース（CNI）、OS、クラウドにかかわらず、Kubernetesのワークロードトラフィックを可視化、観測、デバッグ、分析できる。 Microsoftによると、Retinaはアプリケーションとネットワークの健全性とセキュリティを監視するための一元化されたハブとして機能するという。また、DevOps、SecOps、コンプライアンスのユースケースに取り組むクラスタネットワーク管理者、クラスタセキュリティ管理者、DevOpsエンジニアに、実用的な洞察を提供できるとしている。 関連記事 非同期マルチスレッドフレームワーク「Pingora」をオープンソー
CloudNative Days Tokyo 2023 での登壇資料です
今回、リリースされたPodman Desktop 1.9では、イメージまたはコンテナのtarアーカイブでの保存／復元が可能になった。また、KubernetesにおいてPodのターミナルに接続できるようになっている。 さらに、navigation APIへのnavigateToAuthenticationメソッドの追加や、extension APIのextensionContextにおけるシークレットの取り扱いの追加、認証セッションリクエストのみを備えた認証プロバイダサインインボタンの追加、WebViewにおけるrevealのサポートが行われるなど、数多くの機能追加・改善が行われた。 そのほか、デーモンレスのコンテナエンジンであるPodman 5.0.1がリリースされ、macOSにおいてQEMUに代わってApple Hypervisorが使われるようになったことから、パフォーマンスが向上する
Karpenter の魅力と実装にちょっぴり Dive Deep ~ Consolidation 編 ~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、ソリューションアーキテクトのごとけん (@kennygt51) です。 皆さま、Karpenter というツールをご存知でしょうか？ Karpenter は AWS によって開発された Kubernetes クラスターオートスケーラーです。Kubernetes におけるノードのオートスケールを実現するために、Amazon EKS をご利用の多くのお客様が Karpenter を活用しています。 2021 年にリリースされた Karpenter は、多くのコントリビューターの協力もあって、日々成長を遂げています。2023 年には alpha 版から beta 版への昇格が発表 され、よりユーザーにとって使いやすく進化しました。そして 2024 年 8 月、ついに Karpenter v1.0.0 がリリースされ、安定版に移行しました。 一方で、Amazon EKS を利用している
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Introducing Fly Kubernetes Author Name Senyo Simpson @senyeezus @senyeezus Image by Annie Ruygt We’re Fly.io, and if you’ve been following us awhile you probably just did a double-take. We’re building a new public cloud that runs containerized applications with virtual machine isolation on our own hardware around the world. And we’ve been doing it without any K8s. Until now! We’ll own it: we’ve be
Image from UnSplash I’ve led infrastructure at a startup for the past 4 years that has had to scale quickly. From the beginning I made some core decisions that the company has had to stick to, for better or worse, these past four years. This post will list some of the major decisions made and if I endorse them for your startup, or if I regret them and advise you to pick something else. AWS Link to
Amazon Web Services ブログ Amazon EKS スケーラビリティテストへの Deep Dive はじめに Amazon Elastic Kubernetes Service (Amazon EKS) の「Elastic」とは、「必要なときにリソースを確保し、不要になったときにリソースを解放する」機能を指します。Amazon EKS はほとんどすべてのワークロードを処理できるように拡張できますが、Amazon EKS のお客様から「1 つの Amazon EKS クラスターでサポートされる Pod やノードの最大数はいくつですか」というような質問をよく耳にします。 Kubernetes は複雑なシステムであり、Kubernetes クラスターのパフォーマンス特性はワークロードの特性によって異なる場合があるため、これらの質問に対する答えはさまざまです。Kubernetes
クラウドで使うコンテナというと、AWSのAmazon ECS、Google Cloud Runなどがある。今回はコンテナオーケストレーションのKubernetesのアーキテクチャについて、スリーシェイク bells17氏が解説する。KubernetesはもともとGoogleが内部で運用していたコンテナ基盤のBorgをベースとしており、Cloud Native Computing Foundation（CNCF）に寄贈されたものだ。認知度からも分かるように、成熟度レベルは「GRADUATED」で成熟が進んだものとなっている。 KubernetesのコアとなるControllerとは？ コンテナオーケストレーションツールとして有名なKubernetes。代表的な特徴を挙げるとサービスディスカバリとロードバランシングがある。Serviceリソースを定義することで、多数起動されているコンテナに接続
はじめに Kubernetes は v1.25 で cgroup v2 サポートを GA しており、その後に cgroup v2 に関連する機能が追加されています。しかしまだ多くのディストリビューションで Kubernetes がデフォルトで cgroup v2 を使用しない設定のため、実際に利用している方は多くないと思います。PFN では2022年12月に Kubernetes バージョンを v1.25 にアップグレードするのと同じタイミングで cgroup v2 に切り替えています。 このエントリでは Kubernetes の cgroup v2 に関する機能である MemoryQoS フィーチャゲートと memory.oom.group の2つについて、機能概要と課題を共有します。なお、Kubernetes v1.28 時点での情報です。 そもそもの cgroup v2 について そ
はじめに kubernetes 環境で postgresql のコンテナを建てたり、kubernetes クラスタが存在する VPN に postgresql インスタンスを起動する場合、kubernetes の外から postgresql サーバにアクセスする事ができません。モチベーションとしては自分の端末から kubernetes VPN 内にいる postgresql サーバへ psql で接続したいのです。その為にインターネットに穴を開けたくない。 psql が入ったコンテナを追加する... そうじゃない！ 失敗した作戦1 コンテナ環境に socat が入った ubuntu コンテナを建て、postgresql へのプロキシを作成、そのコンテナへ kubectl port-forward する作戦です。 $ socat tcp-listen:5432,reuseaddr,fork
「GMO Developers」は、GMOインターネットグループが開発者向けの技術情報やイベント情報をお届けするテックブログです。 NEW ConoHaとTerraformで始めるインフラ自動化 後編：GPUサーバー構築と運用ガイド
リソース制限をかけたKubernetes Podの中でhtopをしてもホスト上のリソースが表示されるのはなぜか - inductor's blog
はじめに これは、Kubernetesアドベントカレンダー2の20日目の記事です、と思っていたら1の17日目が空いていたのでそっちに移します。 結論 htopはホストのリソースを取得できるカーネルの情報を見に行っているから！ 終 制作・著作 ━━━━━ ⓃⒽⓀ 終わりではない これだけだとアドベントカレンダーの記事としては内容があまりにも薄すぎるのでもうちょっと書きます。 この話を進める前に揃えておくべき前提知識の話。コンテナとVMの違いを説明する方法はいくつかありますが、決定的な違いとしては根本的にリソースの分離の仕方がちがうところにあります（細かいこというのもアレですが、ここではruncなどの標準的なコンテナ実装を用いた場合の話をしています）。 仮想マシンはホストマシンのリソースを（USBやPCIなどをパススルーする場合を除いて）基本的には全て隠蔽し、少ないリソースでデバイスのエミュレ
ArgoCDバージョンアップを安全かつ迅速に行うための取り組み - freee Developers Hub
概要 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) 上にほとんどのアプリケーションが載っており、EKSへのデプロイ基盤としてはOSSの ArgoCD を利用しています。 ArgoCDから各クラスタにデプロイを行うため、非常に中央集権的なアーキテクチャとなっています。そのため、ArgoCDのバージョンアップは安全かつ迅速に行う必要があります。 本記事では、ArgoCDのバージョンアップの際に行っている取り組みをいくつか紹介します。 かなりマニアックですが、イントロダクションとまとめだけでも読んでいただければ幸いです。 イントロダクション 2023/04からfreeeでPlatform Deliveryチームに所属している gussan です。 Platform DeliveryチームはCI/CD全般のPla
本資料は CNDT2023 の登壇資料です - CFP -
How Netflix’s Container Platform Connects Linux Kernel Panics to Kubernetes Pods By Kyle Anderson With a recent effort to reduce customer (engineers, not end users) pain on our container platform Titus, I started investigating “orphaned” pods. There are pods that never got to finish and had to be garbage collected with no real satisfactory final status. Our Service job (think ReplicatSet) owners d
こんにちは、研究開発部Architectグループ ML Platformチームの藤岡です。今回はKubernetes上に負荷試験基盤を構築したので、その取り組みについて紹介しようと思います。 目次 目次 背景 負荷試験基盤の要件 負荷試験ツールの選定 負荷試験基盤のシステム概要 シナリオファイルの管理方法 Kubernetes operator pattern の利用 GitHub Actionsの共通化 Slack通知用のAPIを用意 負荷試験の導入 負荷試験シナリオの詳細 負荷試験の実行 負荷試験の結果 おわりに 背景 研究開発部ではマイクロサービスで開発することが多く、各事業部向けにさまざまなシステムをAPI形式で提供しています。 APIを作成した際には負荷試験を行っており、リリース前にAPIのパフォーマンスを確認しています。 しかし現状では、各々のローカル環境で負荷試験を実施してい
こんにちは、LINEヤフー株式会社でSREとして働いている岩山です。 今回は出向先の出前館で進めているマルチテナンシーのKubernetes（k8s）クラスタとサービス間通信の認可について、その構築作業の中で得られた知見を紹介します。 いくつか導入したツールの紹介を同じチームの出向組メンバーである岡田・望月・岩山の3名でお送りします。 k8sのマルチテナンシーとは マルチテナンシーとは「テナント」と呼ばれる複数のチームなどの単位で k8s クラスタを共有することです。 参考： https://kubernetes.io/docs/concepts/security/multi-tenancy/ 出前館では数百名の開発者が20個前後のチームを構成し、アプリケーションの開発を行っています。それぞれのチームは複数のコンポーネントを持ち、全体としてマイクロサービスアーキテクチャが構成されています。
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！/ cdk8s-argoworkflow is great!
「 JAWS-UG CDK支部 #14」での登壇資料です。 イベントURL： https://jawsug-cdk.connpass.com/event/317935/
GitHub - microsoft/retina: eBPF distributed networking observability tool for Kubernetes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent | DevelopersIO
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent 「Kubernetesで大型のファイル扱うの面倒くさい。NodeのAMIに埋め込むとかじゃだめ？」 「やりたいことはわかるけど、運用めっちゃ面倒くさいでしょ、それ」 大型のファイルを扱う場合、ストレージの料金や運用に手間がかかるため、オブジェクトストレージ（S3）に格納することはよくあるシチュエーションだと思います。 今回のアップデートで、S3のマウントポイントがCSI（Container Storage Interface）に対応し、Kubernetesの永続ボリュームとしてS3をマウントすることができるようになりました。Kubernetesでホストするアプリケーションの活用方法が大幅に広がる意欲的なアップデートとなります。 このブログでは、アップデートの
UbieでSREをしているdekokunです。この記事は Ubie Engineering Advent Calendar 2023 の 21 日目の記事です。 導入 Kubernetes (k8s) のワンショットのJobにサイドカーを組み合わせると、様々な問題が生じることがあります。Ubie社には、複数の言語で書かれた多数のマイクロサービスが存在します。そしてご多分にもれず、複数マイクロサービスの共通課題をインフラレイヤで管理するためにIstioやCloud SQL Proxy、AlloyDB Auth Proxyなどを使用しています。 この記事では、それらサイドカーをJobと共に使用する際に直面する問題と、世の中でよく語られている解決策、および条件付きながら私たちがどのようにこれらの問題を解決しているのかについて解説します。 k8s Job + サイドカーで発生する問題 かつての私は
こんにちは。さくらのナレッジ編集部の安永です。 2024年6月15日（土）、札幌コンベンションセンターにて「CloudNative Days Summer 2024 」が開催されました。このイベントで、株式会社Preferred Networks（以下「PFN」と称します）の清水翔さんと上野裕一郎さんが、さくらインターネットのサービスを利用した生成AI向け機械学習クラスタ構築の方法について発表しました。そのレポートをお届けします。 最初に、生成AIの学習とは何かについて説明します。生成AIの学習では、非常に大規模なパラメータを持つ言語モデル（LLM）を使用します。PFNや株式会社Preferred Elements（以下「PFE」と称します）では、「PLaMo」という大規模言語モデルを開発しています。例えば、100億のパラメータを持つモデルの場合、メモリ使用量はパラメータとパラメータ更新時
Netflix、ワークフローオーケストレーター「Maestro」をオープンソース化 1日に約200万のジョブを完了
Netflixは2024年7月23日（米国時間）、大規模なデータ/ML（機械学習）ワークフローオーケストレーター「Maestro」のオープンソース化を発表した。 Maestroは、大規模なデータ/MLワークフロー（データパイプラインやMLモデルのトレーニングパイプラインなど）を管理するために設計された、スケーラブルなワークフローオーケストレーターだ。リトライ、キューイング、コンピュートエンジンへの分散など、ワークフローのライフサイクル全体を管理する。 ユーザーは、Dockerイメージ、ノートブック、bashスクリプト、SQL、Pythonなど、さまざまな形式でビジネスロジックをパッケージ化できる。有向非巡回グラフ（DAG）のみをサポートする従来のワークフローオーケストレーターとは異なり、Maestroは巡回グラフ、foreachループ、サブワークフロー、条件分岐など処理を繰り返すような複雑
こんにちは！横浜国立大学理工学部情報工学EP3年の @shion1305 です。今年の10月から株式会社メルペイ Settlementチームにてバックエンドエンジニアのインターンとして所属しています。 この記事は、Merpay Advent Calendar 2023 の4日目の記事です。 Settlementチームでは、メルペイ加盟店で発生した売上金を加盟店に振り込む際に、指示を出したりデータの管理を行ったりするマイクロサービスの開発を行っています。Settlementのマイクロサービスについては こちらの記事 でも紹介されています。 私がJoinして早々担当したタスクの一つが、Settlementサービスに対するKubernetesのPod Distruption Budget(PDB)設定の見直しでした。Kubernetesについてはこれまで個人開発で少し調べたことがある程度でした。
A deep dive into simplified Amazon EKS access management controls | Amazon Web Services
Containers A deep dive into simplified Amazon EKS access management controls Introduction Since the initial Amazon Elastic Kubernetes Service (Amazon EKS) launch, it has supported AWS Identity and Access Management (AWS IAM) principals as entities that can authenticate against a cluster. This was done to remove the burden—from administrators—of having to maintain a separate identity provider. Usin
第7回の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 はじめに 3-shakeのSreake事業部に所属する早川(@bells17)です。第7回目の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 kwokとは“Kubernetes WithOut Kubelet”の略で、実際のKubernetes Nodeではなく仮想的なNodeやPodを使用することで、1,000台以上のNodeのあるKubernetesクラスターを手元環境で手軽にセットアップして検証を行えるツールキットです。 つまり、kwokを使用することで実際のNodeを用意することなく大規模なKubernetesクラスターの検証を部分的に行えるようになります。 kwokを試してみる 「実際のNodeを使用しない」と言われてもピンと
envoyにおける分散トレーシングの導入でオブザーバビリティを向上させた話 - freee Developers Hub
はじめまして、2023/6からfreeeのEnabling SREチームに所属している大木竜勝(ryu)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 3日目です。 この記事ではenvoyの分散トレーシングを用いてオブザーバビリティの向上を実現した取り組みについての記事になります。 背景 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) クラスタ上にアプリケーションが載っておりその構成としてはenvoyが前段に存在し、後段に各アプリケーションPodが存在する構成となっています。 freeeにおける基本的なPod構成 上記の構成においてクラスタの単位はfreee会計やfreee人事労務といったプロダクト毎にクラスタが分かれている構成となっていま
Kubernetesの監視 クラスタの状態監視、CPU・メモリなどのリソース監視、各種クエリやアクセスのチェックなど、要点を挙げればキリのない分野なので、使用するツールによって作業の難易度が大きく左右されてきます。 今回、Pixieを導入してみて使い心地が良かったので、布教のために機能をいくつか紹介していきます。 アクセス直後の全体像 こんな感じのダッシュボードになっています。HTTPトラフィックの可視化は見ているだけでワクワクします。 Namespaceごとのリソース監視 Podのリソース使用状況やディスクアクセスも確認できます。 HTTPのログ監視 Redisのコマンドログ・トラフィックの可視化 他にも様々な監視用のテンプレートが用意されています😀 インストール方法 Kubernetesは導入済みと仮定して、Self-hostedではなくクラウド版Pixieのインストール手順のみ共有
Kubernetesにおけるオートスケーリングの概要
はじめに Kubernetesにはリソースの利用状況に応じてオートスケールする仕組みがあります。この仕組みを上手く利用することで、従来は手動で行なっていた「パフォーマンス管理」や「キャパシティー・プランニング」の一部を自動化することができます。本連載では、Kubernetesのオートスケールに関して説明していきます。 Kubernetesにおけるオートスケール Kubernetesのオートスケールは、スケールする対象が異なる以下の2種類があります。 Podのオートスケール Podのリソース使用量を評価して、Podに対するリソースの割り当てをコントロールします。 クラスタのオートスケール クラスタのリソース使用量を評価し、ノードの増減等を行うことでクラスタで利用できるリソース量をコントロールします。 Kubernetesでオートスケールを利用する場合は、まずアプリケーションの性能要件に合わせ
Dockerとruncに潜む4つのセキュリティリスク Snykが警鐘 Leaky Vesselsは4つの脆弱性で構成されており、これらを悪用された場合、サイバー攻撃者がコンテナを抜け出してホストOSにアクセスする可能性がある。これらの脆弱性の中には深刻度が「緊急」（Critical）と分類されるものが含まれているため、該当プロダクトを使用している場合は情報を確認するとともに、必要に応じて対処することが求められる。 Leaky Vesselsを構成する脆弱性の詳細は以下の通りだ。 CVE-2024-21626： 内部ファイル記述子の漏えいによって新しく起動したコンテナプロセスにおいて、ホストのファイルシステム名前空間内の作業ディレクトリを保持できる脆弱性。これを悪用した場合、ホストファイルシステムへの不正アクセスやコンテナ環境からの脱走が可能になる CVE-2024-23651： 同じキャッ
※本記事は、技術評論社「Software Design」(2023年10月号)に寄稿した連載記事「Google Cloudで実践するSREプラクティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 前回はRenovateによる依存関係の更新について解説しました。今回はArgo CD1を利用した、Kubernetesへの継続的デリバリ(Continuous Delivery、CD)について紹介します。Argo CDとは何か、なぜ使うのか、基本的な機能やキャディでどのように活用しているかを紹介します(図1)。 ▼図1 CADDiスタックにおける今回の位置付け Argo CDとは Argo CDはKubernetesへの継続的デリバリを行うツールです。Gitリポジトリをソースとして継続的デリバリを行う手法をGitOpsと呼びます2。Argo CDはKubernetesへのデ
KubeVirtを使って自宅VM基盤を構築する
VM基盤を管理するツールとして、KubeVirtがあります。KubeVirtを使うとKubernetes上でコンテナと同じようにVMを管理できます。自宅で簡単にVMを立てられるようにするためにKubeVirtを試してみたので、方法と感想をお伝えします。 KubeVirtとはVMをmanifestsとして記述すると、KubeVirtのControllerが良い感じにVMを作成してくれます。この時VMはコンテナと同じネットワーク上に存在するので、コンテナとの通信やアクセス制御などもKubernetesの仕組みに基づいて管理できます。 virtctl(kubectl virt)というCLIツールが提供されており、これを用いてVMをstart, stopしたり、ssh, console, vncなどでVMに接続したりできます。 またContainerized Data Importer(CDI)と
【Security Hub修復手順】[EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません | DevelopersIO
こんにちは、AWS事業本部の平井です。 皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません [EKS.1] EKS cluster endpoints should not be publicly accessible 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説明 本コントロールは、EKSクラスターエンドポイントが、パ
![【Security Hub修復手順】[EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba983f76286d716c33249c5cd7c5d87259ff98a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-security-hub.png)
PackerBuild and manage images as code
AWS Fargate now enables Amazon ECS tasks to selectively leverage SOCI
Customers running applications with more than one containers on Amazon Elastic Container Service (ECS) with AWS Fargate can now leverage Seekable OCI (SOCI) to lazily load specific container images within the Amazon ECS task definition. This eliminates the need to generate SOCI indexes for smaller container images within the task definition, while still getting the benefits of SOCI with larger con
Kubernetes環境でパケットがドロップされる問題を解決した話 - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24（クラウド基盤本部 Stage）DAY 16 の記事です。 こんにちは、Cloud Platformチームの竹村です。 私たちのチームでは、Necoと呼ばれるKubernetes基盤の開発や運用をしています。 このブログ記事では、大量の通信を行うアプリケーションをKubernetes上で運用する際に発生したネットワーク通信経路の障害に関してお話しします。 障害の概要 Kubernetes基盤を利用するチームから、クラスタ内のDNSサーバで性能問題が発生しているとの相談を受け、調査を開始しました。具体的には以下のような事象が起きていました。 Pod内のアプリケーションから一秒間に数百リクエストの単位でクラスタ内のserviceの名前解決を行うと、no such hostやi/o timeoutといったエラーが頻繁に発生する 障害
Kubernetes Novice Tokyo #32 で登壇したセッションの資料です。 https://k8s-novice-jp.connpass.com/event/317561/ 配信URL: https://www.youtube.com/live/sRLG9ufaZ4M
あらためて、じっくり動かすFargate
自分でECS/Fargateやその周辺リソースのインフラ構築・整備をしたり、まわりのインフラ強くないチームメンバーがデバッグに苦戦する様子を見ながら、やっぱりECSは登場するリソースがちと多かったり役割分担がとっつきにくかったりするよなぁと思っていました。 漠然とそんなことを思っていた頃、社内で自分の属するグループに勉強会が爆誕し「これはECSの話するしかないのでは」と思い立ち...そのまま2ヶ月ほど経過してしまいました。というわけで社内アドベントカレンダーに登録し、締切駆動執筆することにしました。というわけで この記事は LITALICO Engineers Advent Calendar 2023 の18日目の記事です。 はじめに この記事では、ECS、特にFargateを使ったWebサーバの構築を、基礎からハンズオン的に組み上げていく内容になっています。ECSタスクやタスク定義、サー
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
ローカル環境からコンテナやKubernetesを操作できるGUIツール「Podman Desktop 1.9」がリリース
CNCF調査： Kubernetesでの支出が増加、半数の組織が過剰プロビジョニング
Introducing Fly Kubernetes
(Almost) Every infrastructure decision I endorse or regret after 4 years running infrastructure at a startup
Amazon EKS スケーラビリティテストへの Deep Dive | Amazon Web Services
アーキテクチャから読み解くKubernetes～Controllerの仕組み～
Kubernetes と cgroup v2 - Qiita
k8s 環境で postgresql するなら pgproxy が便利
開発者向けブログ・イベント | GMO Developers
CNDT2023: noteのEKS移設、ゼンブ見せます
Kubernetes And Kernel Panics
Kubernetes上に負荷試験基盤を構築した話 - Sansan Tech Blog
マルチテナンシーのKubernetesクラスタとサービス間通信の認可
Kubernetes Jobでサイドカーを動かす際の問題と解決策 - でこてっくろぐ ねお
生成AI向け機械学習クラスタ構築のレシピ 北海道石狩編 | さくらのナレッジ
動作例からKubernetes PDBの挙動を理解する | メルカリエンジニアリング
「kwok」でKubernetesクラスターをシュミレーションしてみよう
Kubernetesの監視・可視化ツールPixieが機能豊富で優秀！！ - Qiita
Dockerとruncに4つの脆弱性が見つかる 悪用でホストOSにアクセスされるリスク
第7回: Argo CDによるKubernetesへの継続的デリバリ - CADDi ENGINEER Tech Blog
Terraform stacks, explained
Kubernetes Code Contribution入門
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG