はてなにおけるEKSの運用と自動化 (2024年版) - Hatena Developer Blog
サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少
ロックインとはなにか？すべてが悪いのか？「開発におけるロックインのリスク評価と考え方」 #AWSDevDay | DevelopersIO
ロックインとはなにか？すべてが悪いのか？「開発におけるロックインのリスク評価と考え方」 #AWSDevDay とかく悪の象徴として語られがちな「ロックイン」ですが、それが本当に悪いものなのか？そもそもロックインとはなにか？それのリスクをどう考えればよいのか？真正面から解説された素晴らしいセッションでした。 「いや、そこまでAWSどっぷり使ってもうたら、他に移行するの大変やん？」 あなたがユーザー側クラウド導入推進担当として、あるいはクラウドベンダーの担当として上司やお客様から冒頭の質問を投げかけられた時、どのように答えますか？ 自分もクラウドベンダーの一員としてお客様と対峙する時、基本的には「AWSにあるものは基本的に全て使いましょう。それが結局は一番オトクです」と答えているんですが、それがすべて本当なのか？AWSのなかでもマネージドサービス複数あるけど、使えば使うほどええってわけでもない
はじめに 管理画面の課題 GitOpsとは Push型 Pull型 なぜPush型よりPull型なのか Push型のデメリット Pull型のメリット GitOpsにおけるPull型の構成 GitOpsで課題は解決されるのか まとめ 参考リンク はじめに こんにちは。広告技術部のjohnmanjiroです。普段は広告配信のAPIや管理画面を作っています。 広告技術部では、広告配信に関わる様々なアプリケーションを管理しており、その多くがEKSのKubernetesクラスタ上で動作しています。 広告の入稿や審査を行う管理画面もそのうちの一つです。フレームワークにはRailsを使っています。 管理画面をEKSに移行する際の記事はいくつか本ブログにも上がっているので、興味があればぜひご覧ください。 tech.gunosy.io tech.gunosy.io 今回、その管理画面のCDにGitOpsを導
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの和田（@wadason）です。普段は「ファッションコーディネートアプリ WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 WEARはサービス開始から10年が経ち、クラウドやオンプレミスを含む大小様々なシステムが稼働しています。アプリケーションを動かすための基盤にはAmazon ECSのようなコンテナを前提としたものから、オンプレミスのAPIやBatchを動かすIISまで幅広く扱っています。そうした中で、約1年前にSREチームが結成され、技術負債の脱却やクラウドを中心としたインフラの運用を行なってきました。当初取り組んでいた大規模なリプレイス案件も落ち着き、チームメンバーが増えてきたので、現在では分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始しています。 本記事で
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ
【速報】コンテナ実行専用OSのBottlerocketがパブリックプレビューで発表されました！ | DevelopersIO
AWSにおけるワーカーノードの管理を効率化、かつセキュア化する新しいOS、Bottlerocketの速報です。 「ふわぁ、今日も仕事すっか…って、Bottlerocket、なんやねんこれ？」 朝の日課、twitterのTLを眺めていたら、いきなりこんなツイートが飛び込んできました。 ? Check out the public preview of Bottlerocket: a new Linux-based open source operating system that we designed and optimized specifically for use as a container host: https://t.co/i3tT3rG56g — Nathan Peck (@nathankpeck) March 10, 2020 Bottlerocketは、Linuxベース
Amazon EKS on AWS Fargate Now Generally Available | Amazon Web Services
AWS News Blog Amazon EKS on AWS Fargate Now Generally Available Starting today, you can start using Amazon Elastic Kubernetes Service to run Kubernetes pods on AWS Fargate. EKS and Fargate make it straightforward to run Kubernetes-based applications on AWS by removing the need to provision and manage infrastructure for pods. With AWS Fargate, customers don’t need to be experts in Kubernetes operat
Googleによって開発され、CNCFによってメンテナンスされている「Kubernetes」は、Dockerをはじめとするコンテナを管理するシステムで、位置情報ゲームのPokemon GOやフリマアプリのメルカリなど、さまざまなアプリやネットサービスで利用されています。Amazon EKSやGKEといったSaaSとしても提供されるKubernetesが、なぜ広く普及するに至ったのかを、楽天のエンジニアであるRicardo Aravena氏が語っています。 Why is Kubernetes getting so popular? - Stack Overflow Blog https://stackoverflow.blog/2020/05/29/why-kubernetes-getting-so-popular/ 2007年に登場したLinuxカーネルのプロセス分離機能であるcgroup
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
本日の出席者の紹介 佐々木大輔氏（以下、佐々木）：本日の司会を務めます、私、佐々木大輔と申します。私は書籍の執筆はしていないんですけれども、クラスメソッド株式会社で取締役兼AWS事業本部の本部長ということで、AWSビジネスを取りまとています。 昨今、みなさんおそらく自宅からつないでいる方も多くいると思いますけれども、私も北海道江別市という札幌市のとなりに住んでいまして。江別市から今日はつないでいます。 さっそくなんですけれども、今回の書籍についてまず執筆者の方々に自己紹介してもらおうと思います。スライドを用意していますので、スライドベースで1人ひとり自己紹介してください。それではまずは千葉さんお願いします。 千葉淳氏（以下、千葉）：千葉です。よろしくお願いします。クラスメソッドのオペレーション部で仕事をしています。好きな言葉はStill Day 1です。今回担当したのは、1.1クラウドとは
【春のAWS コンテナ祭り】コンテナうまみつらみ〜Kubernetes初心者がEKSと格闘した1年を振り返る / aws_container_matsuri_20200320
【春のAWS コンテナ祭り】コンテナうまみつらみ〜Kubernetes初心者がEKSと格闘した1年を振り返る / aws_container_matsuri_20200320
［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表
Amazon Web Servicesは、クラウド上でmacOSのインスタンスを提供する「Amazon EC2 Mac instances for macOS」を発表しました。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (@awscloud) December 1, 2020 Amazon EC2 Mac instances for macOS（以下EC2 Macインスタンス）は、Intel
クラウドの運用者に焦点を当てた、技術者向けの新しいテックイベント「Cloud Operator Days Tokyo 」。ここで株式会社カサレアルの新津氏が「これやったの誰？」をテーマに登壇。自動化したオペレーションに対して生じた疑問と学びについて紹介します。 自己紹介と今回のテーマ 新津佐内氏（以下、新津）：みなさん、こんにちは。株式会社カサレアルの新津佐内と言います。本日は「これやったの誰？」というタイトルのお話をします。 「これやったの誰？」についてですが、DevOpsと合わせて自動化を進めていく中で、自動化したオペレーションに対しても生じたこの疑問に、実業務の中であらためて向き合ってみました。上記事例の詳細と現時点での我々の答えを紹介します。 まず本日お話しする内容ですが、スライドに書かれているような基盤の運用担当者のユースケースに関わるお話になります。どのようなユースケースかとい
はじめに Qiitaにこんな記事が上がりました 2020年現在のNewSQLについて – Qiita NewSQLについてアーキテクチャから詳しくまとまっていて 理解しやすい素晴らしい記事だと思います。 社内のSlackでも共有したのですが、 この辺の話は 古くからあるモノリシックなRDBMSが生まれて スケールアップの限界との戦い データベースをどうスケールアウトするかの時代が訪れて、 分散コンピューティングの問題にぶち当たる という、 『歴史を理解してはじめてCloud Spannerの凄さを理解できる』 と思ったので もっと補足説明がいるんじゃないかと思い、社内でLTしました。 また、自分はDataBase周りの知識が弱いと思っているので、 補強のためにもまとめてLTを…とおもったら、 前後編で２回に分けて３０分語るという発表だったので、 もう講義じゃんって言われたし思いました。 W
こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO
AWS認定のSolution Architect Professional試験用に、AWS IAMに関連したキーポイントを断片的にまとめました。 「SAPの試験問題って、大学センター試験の国語に似てね？」 UdemyにあるAWS認定のSAP模擬試験を4本こなした結果、問題の傾向として気づいたことです。どう考えても絞りきれない選択肢が2つ3つあるんですよね〜。 私は受験教科の中で国語が一番苦手でだったので、塾の先生から「問題文に書いてあることに沿って、合っているものではなく、間違ってないものを選べ」と、しょっちゅう教えられていたことを思い出しました。SAPの試験でも同じように「問題の要件と関係ない用語が含まれている選択肢をまず消去し、選択肢が2つ残ってしまったら、問題文に書いてあることに沿った、間違っていない選択肢を選ぶ」ことが大事だなと感じています。 さて、「間違っていないかどうか」を判断
こんにちは、計測プラットフォーム本部バックエンド部の髙木（@TAKAyuki_atkwsk）です。普段はZOZOMATやZOZOGLASSなどの計測技術に関する開発・運用に携わっています。ちなみにZOZOGLASSを使って肌の色を計測したところ、私のパーソナルカラーはブルーベース・冬と診断されました。 さて、本記事ではZOZOMATシステムで利用されていたNetwork Load BalancerをApplication Load Balancerに移行した事例をご紹介します。 ZOZOMATのシステム構成（2020年当時）に関しては、こちらの記事で詳しく説明されていますので合わせてご覧ください。 techblog.zozo.com 移行の背景 ZOZOTOWNアプリやZOZOTOWNシステムからZOZOMATシステムに対するリクエストの負荷分散のためにNetwork Load Balan
顧客のアプリケーションコードが動くマルチテナント環境における課題とEKSにたどり着くまで
ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
フロントエンド未経験のSREエンジニアが挑んだ技術選定のリアル体験 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは！株式会社ラクスの@kzak_24と申します。 インフラ開発部 SRE課に所属しております。 さて今回は、現在アサインされている新規システムの開発プロジェクトにて、フロントエンドの技術選定を担当した時の経験をまとめようと思います。 フロントエンドは未経験だった為、色々と試行錯誤を行いました。 未経験なりにどのような基準を設けて技術選定を行なったか、皆さまの意思決定の参考になれば幸いです。 目次 SREチームの紹介 前提 チームの背景 検討内容と採用理由 言語 / FW 状態管理 スタイル テスト まとめ 最後に SREチームの紹介 まず始めに、少しだけSREチームについて紹介させてください。 ラクスのSREチームは2021年に発足した比較的新しい組織であり、下記の2つのチームに分かれています。 BP(Business Platform)チーム 社内業務システムの開発/保守/運用を
こちらはエムスリーAdvent Calendar 2022の24日目の記事です。 こんにちは、デジスマチームの田口(id:ken-tunc)です。 私達のチームではQRコードによる受付や自動後払いなど、新しい診療体験を提供するデジスマ診療というサービスを開発しています。 開発メンバー6人と小規模のチームですが、毎週のように新機能をリリースしています。 また、ユーザー数も非線形的な成長を遂げており、システムのトランザクションは日に日に増加しています。 IR資料「2023年3月期第2四半期決算発表資料」より このようなスピード感のある開発を実現できている要因はいくつかありますが、この記事ではそのうちの1つであろうデジスマチームで採用しているアーキテクチャについてまとめていきます。 デジスマ診療のアーキテクチャ デジスマチーム紹介資料 イベント駆動アーキテクチャの設計で気を付けていること イベン
AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設（サイト名と場所など）を作成す
株式会社アンドパッドのエンジニアの浜田です。 現在、コンテナ化プロジェクトの活動をしています。 アンドパッドは多くのサービスを提供しておりますが、その中で最も歴史が長く、コード量が多い、社内ではANDPAD本体と呼ばれるサービスがあります。 コンテナ化プロジェクトはこのANDPAD本体をコンテナ環境に移行するプロジェクトです。 プロジェクトは2020/11頃から開始し、2021/12に第一弾の本番リリースが完了しました。今回はその活動について共有します。 プロジェクトの発足 アンドパッドにおける下記課題を解消することを目的として、コンテナ化プロジェクトを開始しました。 リリース作業にかかる時間が長い 以前のANDPADでは本番リリース作業に数時間かかっていました。本番作業なので複数人で作業を行い、人数×時間ぶんの工数が取られることになります。 また夜間に作業することも多く、リリース担当者の
EKS入門者向けに「今こそ振り返るEKSの基礎」というタイトルで登壇しました #jawsug_ct | DevelopersIO
EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。 先日、「EKS祭り」をテーマにJAWS-UGコンテナ支部 #16を開催しました。 JAWS-UGコンテナ支部 #16〜EKS on Fargateローンチ記念！EKS祭りだワッショイ - connpass EKS縛りというだいぶ濃いイベントの中で、自分はトップバッターで「今こそ振り返るEKSの基礎」と第して喋ってきたのでその内容をまとめます。基礎といえども普段隠れがちなEKSに関連するAWSリソースについてフォーカスを当てたある意味マニアックな内容だと思うので、EKS気になる方は是非ご覧ください。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 EKS ﾀﾉｼｲﾖ ｺﾚﾏｼﾞﾃﾞ |_|＿| し'´Ｊ この記事の
[速報] PrometheusとGrafanaをマネージドで動かすAWSの新サービスが発表されました！（プレビュー） #reinvent | DevelopersIO
開催中のAWS re:Invent 2020、ヴァーナーのキーノート中に、Amazon Managed Service for Prometheus（AMP）とAmazon Managed Service for Grafana（AMG）の二つが発表されました！ Amazon Managed Service for Prometheus | Fully Managed Prometheus | Amazon Web Services Amazon Managed Service for Grafana | Fully Managed Grafana Data Visualization | Amazon Web Services Our new partnership with AWS gives Grafana users more options | Grafana Labs それぞれ
![[速報] PrometheusとGrafanaをマネージドで動かすAWSの新サービスが発表されました！（プレビュー） #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
Gitブランチ、Dockerリポジトリ、環境毎のk8sクラスタ 俺のデプロイフローを聞いてほしい | DevelopersIO
EKSクラスタでアプリケーションを起動させる これだけでもちょっぴりハードルが高いが、この先にはもっと高いハードルが待ち受けている。そう、 コードを修正してEKSクラスタにデプロイするまでのフローを考える である。正直適当にやろうと思えばなんとでもなるが、ここを整備しないと不幸な未来が待っているのだ。 ということで今回は、私が考えたデプロイフローとそのフローに到るまでに悩んだポイントを紹介したいと思います。 ※一部机上レベルでの確認になります。 フィードバックお待ちしています。 デプロイフロー 前提 AWSアカウント：環境毎に分離 Gitリポジトリ：GitHub Dockerレジストリ：ECR CI：CodePipeline + CodeBuild CD：ArgoCD（後述） 用語 アプリケーションリポジトリ アプリケーションコードを管理するためのリポジトリ ArgoCDリポジトリ k8s
Google Cloudなんもわからないマンが、Cloud Runの凄さをあれこれ調べてみた | DevelopersIO
この記事はクラスメソッド Google Cloud Advent Calendar 2021の9日目の記事です。 Google Cloud自体ナンもわからないマンが、以前から気になっていたCloud Runをあれこれ動かしながら学んでみた様子をお届けします。もともとAWSのApp Runnerがお気に入りのサービスだったので、それとの機能上の違いも入れています。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 Cloud Run祭りﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 注意事項：この記事には両者のサービスの優劣をつける意図は全くありません そもそも、違うプラットフォームに存在するサービスを単独で機能比較して優劣がはっきり出るほど、パブリッククラウドは単純なものではありません。AWSもGoogle Cloudもサービス単体で利用するよりは、そのエコシステムの中でビルディング
［速報］AWSをオンプレミスに持ち込める「AWS Outposts」正式リリース。日本国内でも利用可能。AWS re:Invent 2019
Amazon Web Services（AWS）のAndy Jassy CEOは、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演において、「AWS Outposts」の正式リリースを発表しました。 AWS Outpostsは、AWSのクラウドインフラと同等のシステムをオンプレミスに持ち込み、パブリッククラウドと連係したハイブリッドクラウドを実現できるというもの。同社がクラウドの構築で培ってきた技術を基に、ハードウェアとソフトウェアの設計と開発が行われました。 24インチのラックにシステム一式が搭載され、顧客に提供されます。 オンプレミス版AWSの「AWS Outposts」、24インチ幅の専用ラックはキャスター付き、故障には部品交換で対応 AWS OutpostsはAWSのコンソールから管理でき、AWSと同じAPIが利用でき、AWSのリージョンとシーム
お疲れさまです。インフラチームの山口です。 新型コロナウィルスの影響下でのリモートワークに伴い最近社内でいくつかのVPNアプライアンスのPoCを実施したのでその際に考えたことや振り返ってこうしておくべきだったという内容を戒めとして各フェーズに沿ってエッセイとして記載します。 なお、現在進行系で数種の製品のPoC中のため、「何か特定の製品を使ってうまくいった」や「弊社はこうしている」などの情報は何もない、私が感じたチラシの裏的なレポートになります。 要は、技術的に新規性のあることはない内容ですが、同じような問題意識を持ってる人間に届けばいいなといった感じの文章になります(文章でもなんでも刺さる人にだけ刺さればいいというポリシーなので、そういった感じです)。 本稿の構成を以下に記載します。 まず、筆者の経歴および、前提条件を説明します。 次に、製品選定や実際のPoC準備から実施までに考えたこと
おはようございます、もきゅりんです。 Shall we mesh ? 弊社コンサルティングには、今一度 AWS の各サービスを初心に返って、基本的な部分から見つめ直してみよう、解説してみようといったブログリレーという企画があるのですが、本稿はそれを模して、個人的な AWS App Mesh 再入門という体にしてみました。 どちらかというと、未来の自分のための備忘録と言えます。 これまで AWS App Mesh (以下 App Mesh) に入門されていなかった方も、すでに脱会されてしまった方も興味があれば再入門して下さい。 App Mesh とは何か サービス(アプリケーション)間の通信制御と可視性を実現するサービスメッシュを提供する AWS マネージドサービス です。 ブラックベルトにならってまとめると以下のような機能があります。 HTTP通信のリトライやタイムアウト 通信のトレーシン
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
はじめに KubernetesではWebアプリケーションから業務用のワークフロー（バッチ処理とか）に至るまで様々なアプリケーションを動かすことができるが、現実世界において苦労するポイントの1つは、ワークロードに秘匿情報を渡すための方法である。 例えば、アプリケーションの上でデータベースに接続するために必要なエンドポイントの情報やパスワードなどの認証情報は、アプリケーションのソースコードに直接書くことはご法度だし、コンテナ化する際に内包することも原則タブーである。また環境変数として注入する場合でも、その情報が物理ディスクに残ってしまう場合などを考え最新の注意を払う必要がある。 ここではKubernetes上のワークロードに秘匿情報をできるだけ安全にわたすための方法を運用者・開発者の目線で考える。 Kubernetesが持つ外部情報注入の仕組み Kubernetesの場合、アプリケーションに情
こんにちは。ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いてプロダクトのシステム構築、運用に携わっています。今回は弊チームで取り組んでいるZOZOMATのシステム改善業務の一例として、JVMの暖機運転の仕組みを取り入れた話をご紹介します。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 JVMの暖機運転とは 今回テーマとして取り上げるJVMの暖機運転とは何かについて簡単に触れていきます。JVMではJIT（Just In Time）コンパイラによるコンパイル方式が取り入れられています。これはアプリケーションの実行前にプログラムの全てを機械語にコンパイルするのではなく、プログラムの実行時にコンパイル
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
［速報］AWS、Docker Hubの代替を狙う「Amazon Elastic Container Registry Public」提供開始。AWS re:Invent 2020
Amazon Web Services（AWS）は、Dockerコンテナのイメージをパブリックに公開できるコンテナレジストリの新サービス「Amazon Elastic Container Registry Public」（ECR Public）の提供開始を発表しました。 現在、Dockerコンテナイメージのパブリックなレジストリとして事実上の標準となっているのは、Docker社が運営するDocker Hubでしょう。 しかしDocker Hubは、今年の11月からアノニマスユーザーからのプルは6時間で100回まで、認証済みユーザーからのプルは6時間に200回までなど、一部で制限を強化しつつあります。 参考：Docker Hub、6カ月使われていないコンテナイメージの削除計画を保留に。従量課金ベースの料金プランを検討へ AWSはこのDocker Hubの代替となるサービスの発表を予告していま
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
Terraformのレビューを自動化するために、Conftestを導入してGithub ActionsでCIまで設定してみる - nariのエンジニアリング備忘録
はじめに 対象読者 OPA/Rego/Conftestとは Regoでポリシールールを記述して、ルール自体のテストも記述しながらCIへ組み込んでいくまで Conftest(OPA/Rego)のセットアップ 前提知識: Terraform plan 結果の構造 ConftestでTerrafom resource tag ルールを書いてみる ConftestでRegoで書いたルール自体のテストを書いて、実行してみる Conftestを実行するCIをGithub Actionで整備する Conftest/Regoで書いたポリシールール自体のfmt/verifyのCIの設定 Conftest testでTerraform plan結果をテストするCIの設定 終わりに 参考文献 English Version: dev.to はじめに メリークリスマス。eureka, inc. でSREをやってい
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの近藤です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 今年の夏に、ZOZOFITというサービスがローンチされました。このサービスは米国での展開を行い、日本ではあまり目にすることのないサービス名称だと思います。 ZOZOFITをローンチするにあたり、私達のチームではアーキテクチャを設計し、システム構築をすることになりました。 本記事では、ZOZOFITの開発時に遭遇した課題と対応方法について紹介します。 目次 はじめに 目次 ZOZOFITについて システム構成 レイテンシを考慮したAWSのリージョンの選定 認証機構の構築 開発中の課題 米国でSMSの送信時に必要な申請 SMSの送信検証 振り返り 終わりに ZOZOFITについて ZOZOFITは、ZOZOSUITの計
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
管理画面にGitOpsを導入しました 〜GitOpsとは編〜 - Gunosy Tech Blog
WEARにおけるKubernetes導入と改善の歩み - ZOZO TECH BLOG
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
Googleが生んだ「Kubernetes」がポケGOやメルカリを支えるほどの成功を収めた理由とは？
目次の段階で「尖りすぎ」と言われた 『みんなのAWS』著者たちが自ら書籍を紹介
AssumeRoleとPassRoleでクレデンシャル情報を保持しない運用を AWSの自動化したオペレーションに対して生じた疑問「これやったの誰？」
Spannerを解説したら講義になった話 | iret.media
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
ZOZOMATのgRPCリクエスト負荷分散をNLBからALBに移行した話 - ZOZO TECH BLOG
イベント駆動アーキテクチャの勘所 - エムスリーテックブログ
AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
ANDPAD本体サービスをEKSに移行しました - ANDPAD Tech Blog
VPN製品の社内PoCを通して考えたことなど - エニグモ開発者ブログ
AWS App Mesh (with Fargate) 再入門 | DevelopersIO
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
Kubernetesにおける秘匿情報の扱い方を考える - inductor's blog
ZOZOMATにおけるJVMの暖機運転の導入と改善効果について - ZOZO TECH BLOG
AWS EKSとECSの比較と選択基準
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
ZOZOFITのアーキテクチャ設計とシステム構築時の裏話 - ZOZO TECH BLOG