機械学習基盤をGKE Autopilotに移行してコストを削減した - LIVESENSE ENGINEER BLOG
リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとはノードやポッドを自動で管理してくれるクラスタです（詳しくはGoogleのブログをご覧ください）。この記事ではなぜAutopilotクラスタに移行したのか、移行する上でどんな作業が必要だったかという話を書きます。 なぜAutopilotクラスタに移行したのか 高額なノードが複数立ち上がる問題 system podが原因？ StandardクラスタとAutopilotクラスタの違い 検証 移行に必要だった作業 Argo WorkflowsのExecutorを変更した メモリ不足が発生したためres
FAANSにおけるCloud RunからGKE Autopilotへのリプレイス事例 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（@sasamuku）です。 FAANSはショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、WEARと連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年にSREとしての取り組みをテックブログでご紹介しました。しかし、運用していく中で機能需要や技術戦略の変遷があり、Cloud RunからGKE Autopilotへリプレイスすることを決めました。本記事ではリプレイスの背景と、複数サービスが稼働している状況下でのリプレイス方法についてご紹介します。 目次 はじめに 目次 リプレイスの背景 なぜCloud R
GKE Autopilot を半年運用してみて...めっちゃラク！ - Beatrust techBlog
Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto
セキュアな GKE クラスタを構築するために知っておきたいポイント 2022 年夏（前編）
はじめにKubernetes クラスタやその上で動くワークロードに対する脅威は多様化しており、クラスタ コンポーネントだけではなくコンテナ アプリケーションやソフトウェア サプライチェーンも含めた多層的な防御が求められます。 Google Cloud では Google Kubernetes Engine (以降 GKE) やその周辺エコシステムにおけるセキュリティ機能が活発に開発されており、これらの機能を上手く活用することで Kubernetes 環境の多層防御を実現可能です。 とはいえ、Google Cloud で提供している コンテナ セキュリティ関連機能 / サービスは種類が多すぎて何がなんだか分からない方も多いのではないでしょうか。本記事では、GKE 周辺のセキュリティ機能 / サービスの概要や使い所、おすすめの設定等について紹介していきます。 ちなみに本記事は Cloud Na
趣味のGKEクラスタを安価に運用する - 839の日記
元々VPSサーバ2台で運用していたものをGKEに移した際に色々やったことをざっくりと書く。 GKEノード構成 GCPのマネージドLB、RDSなどを使わない preemptive VMが落ちたときに503が返る問題 podの冗長化 preemptive VMのプリエンプト通知hook まとめ おまけ deschedulerのリソース再配置 k8s-termination-handlerの実装やissue GKEノード構成 確約利用割引 | Compute Engine ドキュメント | Google Cloud の3年契約ノードを1台、preemptive VM2台の合計3台構成にしている。 3台ともマシンタイプはn1-standard-1でリージョンはus-west1を選択している。 ノードの使用料金は以下のようになる。 確約利用割引のn1-standard-1 $0.014225
必見！プライベートGKEクラスター構築のポイントを総ざらい
[！] この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 クラウドのマネージドKubernetesサービスであるAmazon EKSでプライベートクラスターを構築し、社内で使用しているシステムを移行したことを以前の記事で紹介しました。クラウドベンダーごとにマネージドKubernetesサービスは存在し、GCPではGoogle Kubernetes Engine（GKE）が提供されています。コンテナの操作はどのサービスを利用しても同じですが、ネットワークやセキュリティなどの部分はクラウドが提供するサービスを利用することになるため、ベンダーごとに違ってきます。そこで、すでに利用中のAmazon EKSと比較するために、GKEについても検証してみることにしました。 GCPに構築した仮想ネットワークには、AWSと同じように以下の特徴があります。 VP
GKE Gateway コントローラによる Kubernetes ネットワーキングの進化 | Google Cloud 公式ブログ
$ kubectl get gatewayclasses NAME CONTROLLER gke-l7-gxlb networking.gke.io/gateway gke-l7-rilb networking.gke.io/gateway これらの GatewayClass は、リージョン内部（gke-l7-rilb）とグローバル外部（gke-l7-gxlb）の HTTP(S) ロードバランサに対応しています。これらのロードバランサは、コンテナ ネイティブの負荷分散を提供するよう Gateway コントローラによって調整されます。 ロール指向の設計Gateway API はマルチテナント向けに設計されています。Gateway API では、次の 2 つの主要リソースが使用されるため、プラットフォーム オーナーとサービス オーナーとの間で問題を分離できます。 Gateway は、ルーティン
Kubernetesをちょっと理解したあなたに贈るGKEの実践ノウハウ4選 - MonotaRO Tech Blog
はじめに 商品推薦システム: RecSys について GKEを採用した理由 GKEノウハウの紹介 RegionalクラスタでZone, NodeごとにPodが分散されるようにAffinityを設定 graceful shutdownするコンテナでもpreStopが必要 コンテナネイティブの負荷分散を利用 負荷試験によるHPAのパラメータ調整 まとめ はじめに こんにちは。EC基盤グループの池田（@progrhyme）です。 モノタロウでは昨年、商品のレコメンデーションに用いるシステムを内製化するという取り組みを行いました。 私もこのプロジェクトに参加し、主にGoogle Kubernetes Engine（以下、GKE）上でのアプリケーションの構築・設定やCI/CD設定、監視設定などを行っていました。 私自身、本番運用するGKEのプロダクトを本格的に触るのは、本件が初めての経験でした。 そ
NBM2 - GKEにGrowiを立てるまで
GKEにGrowiを立てるまで 構想 以下を狙うこととします。 公式の「docker composeの例」を出来る限り模倣する https://github.com/weseek/growi-docker-compose 出来る限り「サポートしている機能」をOnにする ElasticSearch, HackMD, PlantUML, MathJax, etc… カウント登録に「Googleアカウント」が使えるように 準備 直後の初期作業 Mail settings でSMTPサーバを登録 GoogleAccountを使えるようにする これはTBDとして出来ないようでした。 設定画面に書いてあることを、そのまま翻訳したものは以下です。 Google Cloud Platform API Managerにアクセスする 資格情報の作成→OAuthクライアントID→「Webアプリケーション」を選択
Kubernetesの「ブランチデプロイ」で誰もがハッピーなDev環境を作る - HRBrain Blog
こんにちは。HRBrainでインフラエンジニアをしている間野(@mano_0307)です。 今年の5月にインフラエンジニアとして入社しました。Kubernetesを使っている弊社で、Kubernetesをまったく触ったことのない私のような人間がインフラエンジニアになれるというのが弊社の素晴らしいところです。合言葉は「トライドリブン」。日々トライができる素晴らしい環境です。 Dev環境という各社共通の悩み 多くの会社で何かと困っているのがdev環境なのではないかと思います。 dev環境今日も空いてないよ・・・フルリモートでどうせバレないし、寝ちゃお あれ？久々に使ったdev5環境がうまく動かないよ。・・・(数時間後)あー、最新のmasterがrebaseされてないからAPIのinterface変わってんじゃん！うわー寝よ・・・ そろそろdev環境増やしたいな・・・でも、あの設定も複製しなきゃ
IstioとAuth0でJWT認証付きAPIを5分でデプロイする - JX通信社エンジニアブログ
SREのたっち(@TatchNicolas)です。 JX通信社では、月に一度「WinSession」というリリースした機能や検証したリリースについて開発チーム全体へ発表する機会を設けています。今回は自分が前回社内に紹介した「パパッと便利APIを作って5分でお手軽＆セキュアにデプロイする」方法について書きます。 TL; DR; Istio/cert-manager/Auth0を使って、任意のコンテナを認証つきで5分でデプロイできる仕組みを作った 設定はアプリケーションごとに独立し、中央集権的なリポジトリに依存しない*1 きっかけ プロダクト間で共通のAPIを認証付きでパパッと作りたいこと、よくありますよね？ でも、アプリケーションに毎回認証のための仕組みを組み込むのは骨が折れます。アプリケーションはあくまで、アプリケーションの関心ごとに集中させたい。すると、サイドカーコンテナを使って責務を分
gVisor: 現実世界で GKE とサーバーレス ユーザーを保護 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 9 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 セキュリティは Google Cloud の最優先事項であり、インフラストラクチャやサービスの設計と業務プロセスを通じてお客様の保護に取り組んでいます。cgroups などコンテナの基本コンポーネントのいくつかは Google のエンジニアによって作成され、Google は社内システムでコンテナをいち早く取り入れていました。そしてこのテクノロジーのセキュリティを強化する手段が必要であることに気付きました。このことが gVisor の開発につながりました。gVisor は、オープンソースで公開され、複数の Google Cloud プロダクトに統合されているコンテナ セキュリティ サンドボックスです。先頃 Linux カーネルの脆弱性が明らかになったときにも、これらのプロ
GKE とCloudSQL を組み合わせたい - toohskの日記
k8s の中にRDB コンテナをデプロイして管理するもよいと思いますが、 RDB だけフルマネージドサービスを使うパターンもあるかと思います。 アプリケーションコンテナはGKE で、RDB はCloudSQL で動かすにはどうしようと考えていたところ、Google Cloud のドキュメントの中に Running Django on Google Kubernetes Engine というまさにやりたいことを実践しているドキュメントがあったので、やってみました。 ドキュメントは↓を参照してください。 Running Django on Google Kubernetes Engine | Python | Google Cloud Google Cloud のドキュメントは結構和訳されているものがあるのですが、 今回の記事は英語だったのと、途中で少し躓くところもあったので、やったこ
GKEでプリエンプティブインスタンスを使いこなす - あかいものログ
GCPにあるプリエンプティブ インスタンスをGKEでうまいこと使えないか、試行錯誤した結果をまとめます。 プリエンプティブ インスタンスとは 一言で言ってしまえば、AWSにあるスポットインスタンスのGCP版です。 公式ドキュメントにはこのように書いてあります。 プリエンプティブ VM は、最長持続時間が 24 時間で、可用性が保証されない Google Compute Engine VM インスタンスです。プリエンプティブ VM は標準的な Compute Engine VM よりも低価格で、同じマシンタイプとオプションを使用できます。 ドキュメントに書かれているように低価格で使用できるのが最大のメリットです。 だいたい1/3ぐらいの価格で使用することができます。 しかし、様々な制限があります。 意識しておかなければならないこととして、次のようなことがあります。 いつ終了するかわからない
GKE を格安で使うためにやったこと - ludwig125のブログ
GKE を格安で使うためにやったこと 目的 やりたいこと ここで紹介する方法でできないこと 料金の確認 一か月の使用料金について 【実例】n1-standard-1でHello Worldを表示するだけのサーバを動かした時の費用 なんでこんなに高いの？ SKUについて 料金の内訳 1289.2という使用時間について プリエンプティティブルなマシンについて どうやったら安く使えるか考える 構成の概要 詳細な手順 GCRにdocker pushするまで circleciの作業 サービスアカウントの追加 【サービスアカウントの追加】権限について 【サービスアカウントの追加】Kubernetes Engine 管理者 【サービスアカウントの追加】サービス アカウント ユーザー 【サービスアカウントの追加】ストレージ管理者 【サービスアカウントの追加】キーの作成以降 ここまでで参考にさせていただいた
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表 Mirantisは2019年にDocker社からDocker Enterprise製品群を取得し、エンタープライズ向けのコンテナ製品市場に参入しています。 そのMirantisは8月14日、Kubernetesの統合運用管理ツール「Lens」を買収したことを発表しました。 [News] We're beyond excited to announce that Mirantis has acquired Lens, the world’s most popular #Kubernetes IDE, to simplify app development for Amazon EKS, Google GKE, Microsoft AKS, and on-prem Clou
Ciliumのkube-proxy置き換えをGKEで試してみた | GRIPHONE ENGINEER'S BLOG
SREの徳田です。 今回はCiliumのv1.7からGAになったKubernetes without kube-proxyのタイトルで出てる、Ciliumによるkube-proxyの置き換えの機能をGKE上で試してみようと思います。 Ciliumとは こちら の記事の後半を見てみると若干書いてあります😌 要はBPFを使いこなし、Blazing Performanceで処理するぞ💪というProductです。 概要についてはこの記事からそれるのでリンクだけおいておきます。 https://cilium.io/ クラスタの準備 それではGKEのクラスタの準備をしましょう。 google-cloud-sdk とGCPに対しての認証とプロジェクトの指定は終わらせているものとします。 CLUSTER_NAME=cilium-cluster CLUSTER_ZONE=asia-northeast1-
Kubernetes(GKE)にお安く入門する - LiBz Tech Blog
目次 目次 はじめに 経緯 そもそもKubernetesとは なぜEKS(AWS)ではなくてGKE(GCP)なのか 無料のクラスタをつくる とりあえずk8sクラスタをつくってみる ノード(インスタンス)が1つだけのノードプールをつくる 3つのノードが登録されているノードプールを消す 作成したクラスタに接続 起動したクラスタのPodを確認してみる podとは？ kubectlコマンドでpodの状態を見てみる preemptibleインスタンスのnodeを立ててスペックを確保する preemptibleインスタンスとは？ ＼(^o^)／ここから有料です＼(^o^)／ preemptibleインスタンスが1つのnode-poolをつくってみる Datadogで監視してみる ReplicaSetとDaemonSet ReplicaSetとは... DaemonSetとは... Datadogをいれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Kubernetes Engine から接続する | Cloud SQL for PostgreSQL | Google Cloud
Crudzoo