本稿について 2019年11月、GitHub上で利用できる無料のワークフローツールのGitHub Actionsが正式にリリースされました。1 これを使って、CI/CDなどの処理を自動化することができます。 本稿では、GitHub ActionsでTerraformを実行し、Google Cloud Platformの構成管理を行う方法を紹介します。 また、GitOpsによるインフラCI/CDの作業フローも紹介します。 昨日、Bitbucket PipelinesでGCPに対してTerraformでインフラCI/CDする - Qiitaという記事を書きましたが、そのGitHub Actions版となります。 共通する内容が多いので、以降ではその記事を「Bitbucke Pipelines版」として参照させて頂きます。 更新履歴 20200504 .github/workflows/terr
Kubernetes as a platform vs. Kubernetes as an API | Amazon Web Services
Amazon Web Services ブログ Kubernetes as a platform vs. Kubernetes as an API はじめに Kubernetes とは何ですか？私はこの技術に初期から取り組んできましたが、8 年経っても、この問いにハッキリと答えられません。Kubernetes をコンテナオーケストレーターとして定義する人もいますが、その定義は果たして、Kubernetes を正しく表現できていると言えるでしょうか。私はそう思いません。この記事では、Kubernetes について、従来の考え方にとらわれない考え方や、技術の伸びしろを探ってみたいと思います。 Amazon Elastic Kubernetes Service (Amazon EKS) は、お客さまに代わって、Kubernetes クラスターを運用をする AWS のマネージドサービスであり、非常
こんにちは、食べログシステム本部長の京和です。 今年の4月から本部長になりました。さらに4月に娘が生まれました 本エントリでは食べログで1年を通じて取り組んだ、大規模なレガシーシステムの段階的な改善について紹介します。[翻訳] Shopifyにおけるモジュラモノリスへの移行 に続いて2記事目のアドベントカレンダーになります。 どのように段階的に進めるか 食べログは今年で15年目のサービスで、Railsになってからは13年が経過しています。これだけ歴史があればあちこちにガタが来ているのは当然で、無数にある課題に対してどこからどのように取り組んでいくかを最初に決める必要がありました。 まず最初の前提として以下のように考えました。 既存のビジネスや開発を止めるような悪影響を与えない。むしろなるべく早くポジティブな影響を与えていきたい。 これだけ歴史のあるシステムを改善していくのは長い時間がかかる
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
こんにちは。主にBUYMAの検索周りを担当しているエンジニアの伊藤です。 BUYMAではSolrを利用した検索システムがいくつかあります。 BUYMAの検索というと検索ボリュームが一番大きな商品検索を想像されると思いますが、 今回はデータボリュームが一番大きい検索システムをターゲットとして、インフラ周りを含め全面的にシステムの刷新を行いました。 ここでは、 既存の検索システムがどういったものだったのか なぜシステム更改が必要だったのか(どういう課題があったのか) 更改後の検索システムはどういったものか 今後の課題について 等々についてご紹介したいと思います。 既存の検索システムについて 既存の検索システムは下記の通り、シンプルという点ではとても素晴らしいものでした。 ただし下記のような問題を抱えている状況でした。 スケールアウトしない構成である スケールアップの限界 Solrのバージョンが
ECS Scheduled Taskの管理をecscheduleでGitOps化しました - コネヒト開発者ブログ
こんにちは。コネヒトのテクノロジー推進グループでインフラエンジニアをしている laughk です。 今回は定期実行バッチで利用しているECS Schedule Taskの管理に Songmu/ecschedule を導入し、GitOps化した話をまとめます。 サマリ ecscheduleを導入する前の定期実行バッチの管理状況と課題 技術選定 - ecshceduleを選定した理由 導入プロセス GitOps化 導入後どうなったか ecscheduleを導入する前の定期実行バッチの管理状況と課題 コネヒトでは提供するサービスのWeb基盤にAmazon ECSをフル活用しており、定期実行バッチにおいてもECS Scheduled Taskを利用しています。ECS Scheduled TaskはECS Taskを cron のように定期実行でき、とても便利なものです。一方でその管理においては利用
お疲れさまです。SREの西田和史(@k_bigwheel)です。 僕が所属するDX事業本部の開発基盤グループは主にインフラが安定して高いパフォーマンスで動くことに責務を持っています。 今DX事業本部には3つの事業部があり、その中ではイエウール、ヌリカエ、ケアスル介護などのサービスを展開していますので、僕らはそれらのだいたい10サービス前後のインフラを日々増築・改善しています。 僕がSpeeeにジョインしたのが3年前の2019年11月なのですが、それからDX事業本部のインフラは様々なことが進化しました。3年前から変わらず残っているインフラコンポーネントは永続化層1ぐらいといえる程です。ここではその差分を振り返ってこんな良いインフラになったぞ！という部分を書いていきたいと思います。 レガシーインフラの脱却 いきなりですが、3年前に使っていたツール・サービスと今使っているツール・サービスの対応表
【転職会議】ArgoCDで実現するストレスフリーな新GitOps基盤 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 最近、転職会議のCI/CD基盤をFluxベースのものからArgoCDベースのものに式年遷宮しました。今回の記事では、新しいArgoCDでのCI/CD基盤について、作り直しに至った経緯や改善点をご紹介します。 ArgoCD移行に至った経緯 転職会議では、以前の記事でも紹介したFluxというGitOpsのツールを使用してGitOpsを実現していました。 made.livesense.co.jp しかし、その後FluxからFlux2への移行が公式から推奨されるようになった後も、Flux2やArgoCD Image Updaterへの移行ができない状態が長く続いていました。 また、現行のフローでも以下のような大きな問題点を抱えていました。 ロールバックできない問題 チャットボットが老朽化 Weave Cloudがサービス終了 以下でそれぞれ説明します。 ロールバックで
GitHub Codespacesは、仮想マシン上に強力な統合開発環境（IDE）を提供し、性能の低いマシンを持つ開発者がローカルリソースを消耗せずにコーディングできるようにし、AI画像の生成など様々なタスクに利用することが可能です。 GitHubが最近発表した「2022 State of the Octoverse」レポートにおいて、HashiCorp Configuration Language（HCL）がGitHubで最も成長したプログラミング言語となりました。HashiCorpは、クラウドコンピューティングのためのInfrastructure as Code (IaC) 自動化のリーディングプロバイダーです。HCLは、Terraformや Vaultなどのツールと共に使用されるHashiCorpの設定言語で、マルチクラウドやオンプレミス環境において、人間が読みやすい設定ファイルでIa
現仮想サーバー開発のソフトウェアアーキテクトが、SDPFクラウドの仮想サーバー開発の全体像や課題、目指す姿などを話す「元ウェブ系エンジニアが語る IaaS（VM屋さん）の開発ってなにしてんの？ 」。ここでNTTコミュニケーションズ株式会社の佐野氏と技術顧問の和田氏が登壇。最後に視聴者からの質問に回答します。前回はこちらから。 OpenStackはどれくらい改造しているのか？ 司会者：佐野さんありがとうございます。ここからは私のほうでSlidoを投映して、和田さんにモデレーションをお願いしたいと思います。では和田さん、お願いします。 和田卓人氏（以下、和田）：今もガンガン（質問を）書き込んでもらってかまいませんし、「この質問いいね」と思ったら「いいね」ボタンをどんどん押してください。みなさんが聞きたいと思った質問を基本的には優先しながら、時々、恣意的にピックアップしながら質疑応答をやっていき
RADIUSのクラウドネイティブ化で堪能したエンジニアリングの醍醐味 - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
ISPの要であるRADIUSシステムのDevOps環境整備とクラウドネイティブ化を3年がかりで実現したことについて、技術検証で頓挫しかけた苦労話から、クラウド化のコツまで詳しくインタビューしました。 技術的負債を一気に返却するはずが存続の危機に 得意なことで補い合いながら課題をクリア フルリモートでも無事故のリプレースを実現したGitOps エンジニアが働く環境としてのBIGLOBEとは ISPの接続認証機能を担うRADIUSシステムを、コンテナやサーバーレス技術を活用して3年がかりでクラウドネイティブ化し、2022年6月から正式にサービスを開始しました。 それにあわせて、開発から運用までをスムーズに連携するDevOps環境を実現し、150台のオンプレミス・サーバーにかけていたシステム運用・保守工数を半減し、インフラ費用を従来の3分の2に圧縮することができました。 DevOps環境の特徴は
Secure at every step: A guide to DevSecOps, shifting left, and GitOps
SecuritySecure at every step: A guide to DevSecOps, shifting left, and GitOpsWhen developers share the responsibility of security, perform security testing earlier in your development lifecycle, and use Git as a source of truth, you can help your development teams find and remediate security issues faster. DevSecOps, shifting left, and GitOps: you’ve probably heard all of these terms recently, but
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
この1年の Amazon EKS アップデートを振り返る Amazon EKS Advent Calendar 2019 の1日目です. アメリカ時間だとまだ12/1なので許して… 他の AWS サービス同様、Amazon EKS もこの1年間で多くのアップデートを発表してきました. 本記事では、ざっくりとこの1年間の主なアップデートを振り返りつつ、いよいよ本日から開催される re:Invent に備えていこうではありませんかという、そんな目論見がございます. 日付順にアップデートを追って書いていたんですが、なんだか読みにくかったのでカテゴリごとに分けて書いていきます. 目次です. Security & Reliability Regions & Versions Nodes Storage & Networking Tooling Machine Learning その他 まとめ Sec
EnterpriseApplying GitOps principles to your operationsCould we use our Git repository as the source of truth for operational tasks, and somehow reconcile changes with our real-world view? DevOps practices have helped demonstrate the value in bringing teams together to accelerate value for end-users. This typically includes automating build and release processes and bringing quality checks directl
なぜ人工衛星開発スタートアップで元ウェブ系エンジニアが快適に働けているのか - ArkEdge Space Blog
あけましておめでとうございます。都心でも雪が降るなど、寒い日が続きますがみなさんいかがお過ごしでしょうか。id:koba789 です。 今回は、アークエッジ・スペースが一体どんな雰囲気の会社なのかについて元ウェブ系エンジニアの私の主観でご紹介します。 株式会社アークエッジスペースの成り立ち まずは時間を私が入社する前まで巻き戻しましょう。経緯を遡ると、現状を説明しやすくなります。 株式会社アークエッジスペースは主に東京大学中須賀・船瀬研究室出身のエンジニアによって作られた会社です。必然的に、今の会社の文化も研究室の影響を多分に受けています。 また、ここでいう「エンジニア」は機械系のエンジニアであってソフトウェアエンジニアのことではありません。よって、いわゆるハッカー的な文化は中心的ではありません。 しかし興味深いのは、ソフトウェア企業的な文化を取り入れたいという動きがあるということです。し
テナントがArgoCD Applicationを任意に作れるようにする - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは😸 Necoの@dulltzです。 皆さんはマルチテナントでGitOpsするためにどのような構成をとっていますか？ 我々はArgoCDを利用しています。 以前、@zoetroからArgoCDについての紹介がありました。 blog.cybozu.io 上の記事でもテナント*1に対しArgoCDを提供する方法に触れているのですが、 最近そこからもう一歩踏み込んで、テナントがApplicationを任意のタイミングで安全に作れるようにしました。これについて説明します。 なおNecoでは実装をOSSにしているので、記事内にソースコードへのリンクを適宜貼っておきます。気になる方はそちらも御覧ください。 前提知識 ArgoCD KubernetesでGitOpsを行うためのミドルウェアです。*2 この記事ではArgoCD v1.3.6を対象とします。 Application ArgoCDの
コンテナセキュリティに関する本を書きました
NTTの須田です。この度、「Docker/Kubernetes開発・運用のためのセキュリティ実践ガイド」という書籍を執筆しました。Z Labの五十嵐 綾 (@Ladicle)さん、宇佐美 友也 (@hiyosi)さんとの共著です。 Docker/Kubernetes開発・運用のためのセキュリティ実践ガイドAmazon: https://www.amazon.co.jp/dp/4839970505 Manatee (PDF版): https://book.mynavi.jp/manatee/books/detail/id=114724 Docker や Kubernetes を安全に使うための設定方法やツールについて、 本書ほど網羅的かつ詳細に記した書籍はおそらく他にはありません。Dockerに代わるコンテナエンジンとして話題のPodmanなど、最新のソフトウェアに関する情報もふんだんに盛り
ArgoCDからDatadogに送るログを削減するテクニックと、苦労したこと - LIVESENSE ENGINEER BLOG
はじめに ArgoCDを構成するコンポーネントについて ArgoCDのログ量問題に直面した背景 ロギングライブラリが複数あることによる苦労 ログレベルを調整した結果 おわりに はじめに インフラストラクチャーグループの @mom0tomo です。普段はマッハバイトのクラウド移行に取り組んだり、コーポレートサイトのCSS/JSと格闘したりしています。最近、少しずつ転職会議のKubernetes運用にも関わるようになりました。 転職会議では、KubernetesクラスターへのCI/CDツールとしてArgoCDを利用しています。 made.livesense.co.jp ArgoCDにはGUIがあるためアプリケーション開発者も親しみやすいなど利点が多いのですが、デフォルトで出力されるログが多く、必要以上にログデータを生成してしまうと言う問題がありました。とくにDatadogのようなログ分析ツール
Conftest で CI 時に Rego を用いたテストを行う こんにちは。青山（@amsy810）です。 実は少しだけ PLAID さんでお手伝いをしており、CI に Conftest を組み込んで Kubernetes マニフェストのポリシーチェックを行うようにしたので、その時の備忘録を書いておきます。 PLAID さんでも GKE を基盤として選定して開発しています。 Conftest とは？ Conftest は Rego 言語で記述したポリシーを用いて、JSON や YAML などがポリシーに合致しているかをチェックする OSS です。 今回は Kubernetes のマニフェストがポリシーに合致しているかどうかを判別するために利用します。 例えば下記の例では、Deployment や StatefulSet などの Workloads リソースの Selector や起動して
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog サービス・機能やそれにまつわる開発の裏話や取り組みを聞く「Product Story」シリーズ。今回は、2021年11月にテストローンチされたライブコマースサービス「LIVEBUY」の開発プロジェクトを紹介します。マイクロサービスアーキテクチャの採用やインフラでのKubernetesの活用、サーバーサイドの開発言語としてKotlinの導入を始め、モダンな技術を積極的に取り入れてさまざまなチャレンジを行っています。このプロジェクトについて、開発マネージャーの堀口直人とサーバーサイドを担当した宇井敬一朗・岩谷明に話を聞きました。 プロジェクトの途中で発生した大きな方針転換 ――LIVEBUYとはどのようなサービスでしょうか。 堀口
Using MLOps to Bring ML to Production/The Promise of MLOps
In this final Weave Online User Group of 2019, David Aronchick asks: have you ever struggled with having different environments to build, train and serve ML models, and how to orchestrate between them? While DevOps and GitOps have made huge traction in recent years, many customers struggle to apply these practices to ML workloads. This talk will focus on the ways MLOps has helped to effectively in
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 つい先日、スタディサプリENGLISHの基盤をECSからEKSへの移行をしました。移行の経緯や理由などは先日公開された大島のスタディサプリENGLISHの基盤をECSからEKSに移行しました という記事で紹介しております。 今回は私たちがKubernetesのCDに利用したArgo CDをなぜ選んだのか？どのよう導入したのかという部分を説明していきたいと思います。 Argo CDについて Argo CDはGitOps1)Gitをアプリケーションとインフラのsingle source of truthとして扱い、Gitにある情報(ここではKubernetesのmanifest)をあるべき姿とし、同期を行いアプリケーションの変更を行う手法。GitOpsを提唱しているweaveworksのGitOpsにページに詳細が書いてあ
GitOps for Kubernetes | Caylent
Cloud-native applications are dominating the market with their improved performance and high efficiency. While there are more resources to support cloud-native applications running as microservices, managing complex cloud architecture is still a challenge. The more microservices you run, the more tasks you will have to deal with in order to keep the cloud environment healthy and running smoothly.
JJUG CCC 2021 Fall ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2021 Fall に参加しました！ JJUG CCC オンラインも3回目ということで、JJUG運営の方も参加者の方もお互い慣れてきた感じがします。 自分も、今回は夕方から用事があったので、時間差でセッションを見ながら電車で移動ということをやりました。ラジオの生放送と Radiko のオンデマンドの組み合わせみたいな感じで、リアルタイムでみんなで一緒にわいわいできるのも、時間と場所にとらわれずに見れるのもどっちもいいなーと思うようになりました。 だから、オフラインで集まりつつ1、今回のように配信でも見れるといいのかな、と。 コストが不安になりますがｗ セッションは、最近のお仕事に関連しそうな「エキサイトブログ刷新に向けて序章」など、パフォーマンス改善やリファクタリングの話を中心に聞いていました。 教科書的な話だけでなく、なぜか歴史的経緯で不思議な構成になっているという話に
Terraformのstate操作をgitにコミットしたくてtfmigrateというツールを書いた - Qiita
はじめに Terraform職人のみなさんは無限に「ぼくのかんがえたさいきょうのディレクトリ構成」についてメリデメを議論していますが、未だに銀の弾丸のようなベストプラクティスは見つかっていないようです。なぜでしょう？ それは最適解がサービスの規模、組織の構造、メンバーのスキルなどいろいろな変数に依存しているからです。さらに悩ましいことに、これらの要因は固定ではなく変化するので、ある時点での最適解が時間の経過とともに現状にうまくマッチしなくなり、いわゆる技術的負債になったりします。つらい。 個人的な解釈では、組織の成熟度に合わせてモジュールを細かく切っていく方向に徐々に向かっていくというような傾向があるようには思いますが、組織のフェーズによってうつりかわるものなので、唯一の最適解というものはそもそも存在しないのです。そんなこんなで、最近の私の関心事は、理想と現実がずれてきたときに、どうやった
Amazon Web Services ブログ CDK for Kubernetes のご紹介 Kubernetes を採用してアプリケーションをグローバルにデプロイし、機械学習モデルを大規模にトレーニングし、データセンターやクラウド全体において新技術の導入方法を標準化しているお客様が急速に増えてきているのを、AWS は目の当たりにしています。Kubernetes では、手作業による処理を置き換える自動ツールの構築、インフラストラクチャのあらゆる部分での運用パイプラインの実装、アプリケーションの実行方法をきめ細かく制御できるよう開発チームの支援が可能です。 従来であれば、Kubernetes アプリケーションは人間が読める静的 YAML データファイルで定義され、これを作成し管理するのは開発者の仕事でした。新しいアプリケーションの構築には、大量のボイラープレート設定を記述したり、他のプ
[レポート]JAWS-UGコンテナ支部 #19に参加してきました #jawsug_ct | DevelopersIO
2021年6月28日(月)に開催されたJAWS-UGコンテナ支部 #19に参加してきました！今回もYouTube Liveの限定公開にて開催されました。各セッションのレポートをまとめています。 2021年6月28日(月)に開催されたJAWS-UGコンテナ支部 #19に参加してきました！今回もYouTube Liveの限定公開にて開催されました。各セッションのレポートをまとめています。 前回からもう半年。re:Inventも挟みアップデート内容含めて今回も内容が盛りだくさんです！ ※前回ブログものせておきます。 当日Youtube Liveはアーカイブでも見ることができます 1. AWS コンテナサービスアップデート(youtube 00:07:10 ~) 登壇者 by 苅野秀和 - ソリューションアーキテクト / アマゾン ウェブ サービス ジャパン株式会社 内容 2020年12月～のアッ
![[レポート]JAWS-UGコンテナ支部 #19に参加してきました #jawsug_ct | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6547ca3360d00870c109085482ff5cf49c1ca7fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Fjaws_container.png)
CloudNative Days Tokyo 2023 〜現地参加のふりかえり〜 - RAKUS Developers Blog | ラクス エンジニアブログ
SRE課の飯野です。 2023/12/11(月)〜12(火)の2日間、『CloudNative Days Tokyo 2023』（以下CNDT）が開催されました。 弊社からはわたしが所属するSRE課の他、インフラ開発部の大阪メンバー（出張での参加！）や楽楽精算の開発メンバーなども含め、15名ほどが現地参加しました。 本ブログでは、CNDT参加後に行った社内でのふりかえりの内容をお届けします。 『SRE NEXT 2023』参加時のブログもありますので、よろしければこちらもご覧ください。 tech-blog.rakus.co.jp 目次 CNDTとは？ 当日の様子 ふりかえりやってみよう 総括 CNDTとは？ 『CloudNative Days』というコミュニティが手掛けている日本最大級のクラウドネイティブ・テックカンファレンスです。 その名の通り「クラウドネイティブ技術」に焦点を当てており
JANOG51 にて発表＆議論しました - NTT Communications Engineers' Blog
JANOG51参加報告 イノベーションセンターの田島です。サービスプロバイダーネットワーク網の技術検証から検証用 AS の設計・構築・運用まで担当しています。 2023/01/25 ~ 27 の日程で富士吉田市にて開催されました JANOG51 に登壇し、参加された方々と議論しました。 この記事ではまず田島が登壇したセッション内容について振り返り、加えて NTT Com の他のメンバが登壇したセッションについてもいくつか紹介します。 JANOG51はアーカイブ動画が 2023/02/28 まで配信中です。 この記事以外でも NTT Com からパネリスト参加や LT での発表もありますので、プログラム一覧 から資料や録画を是非ご覧ください。 もし本番ネットワークをまるごと仮想環境に"コピー"できたらうれしいですか? TIS 株式会社、ビッグローブ株式会社、NTT Com の3社協同プロジェ
GitHub - glasskube/glasskube: 🧊 The next generation Package Manager for Kubernetes 📦 Featuring a GUI and a CLI. Glasskube packages are dependency aware, GitOps ready and can get automatic updates via a central public package repository.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Kpt: Packaging up your Kubernetes configuration with git and YAML since 2014
The latest news from Google on open source releases, major projects, events, and student outreach programs. Kubernetes configuration manifests have become an industry standard for deploying both custom and off-the-shelf applications (as well as for infrastructure). Manifests are combined into bundles to create higher-level deployable systems as well as reusable blueprints (such as a product offeri
こんにちは。search infraチームのmrkm4ntrです。 我々のチームでは検索基盤としてElasticsearchクラスタをKubernetes上で多数運用しています。これらのElasticsearchクラスタを管理しているnamespaceはマルチテナントな我々のKubernetesクラスタの中で最大のリソースを要求しているnamespaceです。 一方でクラスタのサイズをピークタイムに合わせて固定していたため、そのリソース利用率は非常に低いという問題がありました。Elasticsearch EnterpriseやElastic Cloudにはオートスケーリング機能が存在するのですが、これはスケールイン/アウトのためのものではなく、ディスクサイズに関するスケールアップ/ダウンを提供するもので我々の要求を満たすものではありませんでした。 そこで今回は、HPAを用いたスケールイン/
Oracle DBのパッチやバックアップなど運用自動化をKubernetes拡張機能で実現、オープンソースの「El Carro」をGoogle Cloudが公開
Oracle DBのパッチやバックアップなど運用自動化をKubernetes拡張機能で実現、オープンソースの「El Carro」をGoogle Cloudが公開 Oracle Databaseは以前からコンテナ環境に対応しており、DockerイメージやDockerファイルもオラクル純正のものが提供されています。Helmチャートを使ってOracle DatabaseをKubernetes環境上にデプロイすることも可能です。 今回オープンソースで公開されたEl Carroは、Kubernetesの拡張機能であるOperatorパターンを用いて、Kubernetes上でのOracle Databaseの運用自動化を支援するソフトウェアです。 El CarroはKubernetes上でOracle DBの運用自動化を支援 Googleのブログ「Modernizing Oracle operatio
JJUG CCC 2023 Spring ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2023 Spring に参加しました！ 今回、なんとJJUG CCC 参加9年目にして初登壇してきました。色んな人から「えっ、初？」って言われましたｗ1 セッションは、javap を使ってクラスファイルを読んでみよう という、ややマニアックな内容です。頑張って調べた内容を色々詰めたので、javap を使ったことがある人にも使ったことがない人にもなにか得られるものがあったとしたら、幸いです。 ちなみに、このセッションではバイトコードについては時間の関係もあって簡単に触れただけだったのですが、ちょうど David Buck さんの "Java Bytecode Crash Course" がバイトコードについての話だったので、両方を聞いた方にはちょうどよかったんじゃないかなと思います。 今回からはオンライン＆現地開催となりましたが、やっぱり現地で色んな人と会えて話ができるの
【週刊 Kubernetes 連載】ミニマリストのための CI/CD パイプライン！！ - Zeals TECH BLOG
こんにちは！！ 8月からZEALSにジョインしたぱんでぃーです！TypeScriptとAureliaを愛するバックエンドエンジニアとして、現在はGolangでMicroservices化を目指したAPIを開発しています！ このAPI開発のプロジェクトについても、近いうちにブログで公開していきたいのですが、今回はKubernetes環境でのCI/CDについてご紹介します。（おもにCD） このトピックについては、以前、CTO島田のエントリーでも少し紹介していましたが、さらに進化させた内容となっております！ tech.zeals.co.jp TL;DR KubernetesエコシステムのCDツールの現状 できるだけミニマムスタックでスタートするためには？ Gitブランチ戦略 アプリケーションの実行環境 目指すゴール ZEALSの実際のCI/CDパイプラインを紹介 今後の伸びしろ さいごに TL;
私が個人で開発・運用している Qoodish という Web サービスは、主要なコンポーネントを Google Kubernetes Engine (GKE) 上にホスティングしています。 大規模なサービスを展開するために使われるイメージが強い Kubernetes (k8s) ですが、個人開発で作るような小規模なサービスでも様々なメリットがあります。 参考: Kubernetes は辛いのか？ 運用コストの削減 開発も運用も基本的に一人で行う個人開発においては、いかに運用コストを下げてアプリケーションの開発やサービスの設計に時間を割いていくかというのは重視されるポイントだと思います。 k8s を使うことで、必然的に Infrastructure as Code が実現され、アプリケーションをコンテナ上でステートレスに運用するということが可能になります。 k8s 導入以前は VM の状態管
This post introduces a new feature called Profiles, which allows you to create a specific Kubernetes application platform to meet your business needs. We show how you can enable machine learning operations or MLOps with specific Profiles for two different types of Kubernetes instances - EKS and Kubernetes with Firekube. If you ask an application developer what they want from Kubernetes, the answer
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい Redash 環境を v10 で構築する まず、移行ツールは移行先として v10 を前提としているので、新しい環境は v10 である必要があります。ちなみに、v10 は 10/2 にリリースされた現時点の最新版です。 v10 であればどんな方法で構築しても問題ないのですが、今回は社内用 GKE
Containers Introducing CDK for Kubernetes At AWS, we’ve seen customers rapidly adopt Kubernetes to deploy applications globally, train machine learning models at scale, and standardize how they deliver innovation across data centers and the cloud. Using Kubernetes, customers are building automated tooling to replace manual processes, implementing operational pipelines for every piece of their infr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub ActionsでGCPにTerraformでインフラCI/CDする - Qiita
食べログの大規模なレガシーシステムを段階的に改善していく取り組み - Qiita
BUYMAの検索システムを刷新したお話 - エニグモ開発者ブログ
DX事業本部インフラの3年分の進化 (2019 ~ 2022) - Speee DEVELOPER BLOG
GitHub ActionsでIssueOpsによるブランチデプロイメントを可能にする
「OpenStackを選んだ理由は？」「VM屋になるためにどういった経験が大切か？」 元Web系エンジニアのVM屋に聞くQ＆A
100台くらいスケールする“Kubernetesもどき”を自作してみた！
この1年の Amazon EKS アップデートを振り返る
Applying GitOps principles to your operations
Conftest で CI 時に Rego で記述したテストを行う - @amsy810's Blog
モダンな技術を積極的に取り入れたライブコマースサービス「LIVEBUY」開発の裏側
Amazon EKSでのArgoCDを使ったGitOps CD | Recruit Tech Blog
CDK for Kubernetes のご紹介 | Amazon Web Services
ElasticsearchをCPU利用率でオートスケールさせる
個人開発で使う GKE｜yusuke-suzuki
MLOps on Kubernetes with portable Profiles
Introducing CDK for Kubernetes | Amazon Web Services