こんにちは。はてなのアプリケーションエンジニアの id:onk です。 最近、若手エンジニアを中心に、いろいろな技術を見つめ直すワーキンググループをやっています。今回は、その中から「デプロイ」の会で発表されたことをまとめました（なお、私は会のとりまとめをやっている非若手です）。 デプロイのライフサイクルの違い Infrastructure Platformでのデプロイ Application Runtime Platformでのデプロイ Applicationsのデプロイ デプロイ方式はどのように変化してきたか In place から Blue/Green へ Immutable Infrastructure という考え方 オートスケールへの対応 push 型デプロイと pull 型デプロイ コンテナによるデプロイの現況 コントロールプレーンによって何が変わったか ECS におけるデプロイ
キーポイント For object-oriented design we follow the SOLID principles. For microservice design we propose developers follow the “IDEALS”: interface segregation, deployability (is on you), event-driven, availability over consistency, loose-coupling, and single responsibility. Interface segregation tells us that different types of clients (e.g., mobile apps, web apps, CLI programs) should be able to inte
Platform チームの@deeeeeeeetです． Platform チームは2年前にMercariがMicroservicesの移行を始めたときに一緒に立ち上げられたチームです．Platform チームはMicroservicesを動かすための基盤や開発や運用のためのツールセットなど提供しています．立ち上げ時は自分を含めて2-3人で始まったチームですが2年が経ち10人を超えるチームにまで成長しました． チームのメンバーが増えるほど1チームとして動くには限界がきており，またMicroservices化が進めば進むほどチームの負う責任範囲も広くなりCognitive load (認知負荷) も高くなっていました．これらの課題を解決するために組織変更を行い，Platform チームを複数の専門性に特化したチームに分割しました． 本記事ではチームのデザイン，チームが分離しても独立性を保ちつつ
DevOpsの負の側面について
トランスクリプト Protsenko氏：私の名前はMykytaです。Netflixで働いています。私の仕事は基本的に、他の開発者が遅くまで職場に残らなくてもいいようにすることです。彼らが午後5時に退社しても生産的であることが私の実現したいことです。私はプラットフォーム組織、つまり生産性エンジニアリング部門で働いており、他のエンジニアのために労力を抽象化しようとしているのです。エンジニアが同じ退屈な技術的問題に何度も対処するのではなく、ビジネス上の問題の解決に集中できるようにします。 いくつか質問させてください。あなたたちのうち何人が、自分で作って自分で動かすという哲学を実践している会社で働いてますか？生産現場との間にゲートキーパーがいないこと、機能や修正をより早く提供できることに満足している人はどれくらいいますか？本番環境で発生したインシデントに対処しているときに、どうすればいいのか分から
Mercari Microservices PlatformにおけるKubernetes Cluster移行 | メルカリエンジニアリング
Microservices Platform Teamの@deeeeeeetと@dragon3です． Microservices Platform TeamではGoogle Kubernetes Engine（GKE）をメインのコンポーネントとして利用し，その上にメルカリとメルペイのMicroservicesを動かすための基盤を構築しています．メルカリのMicroservices化のプロジェクト自体は2年ほど前から始めており，GKEも当時に構築したものを今日まで運用し続けてきました． この2年間でGKEからは多くの機能がリリースされました．その中のほとんどはそのまま有効にすることができますが，中にはClusterを作り直す必要があるものもあります．例えばRoutes-based ClusterをVPC-native Clusterに，Zonal ClusterをRegional Clust
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 徹底攻略 AWS認定 クラウドプラクティショナー教科書 第2版［CLF-C02］対応 トレノケート株式会社 高山裕司 超楕円関数への招待 楕円関数の一般化とその応用 松谷 茂樹 手を動かしてわかるクリーンアーキテクチャ ヘキサゴナルアーキテクチャによるクリーンなアプリケーション開発 Tom Hombergs(著), 須田智之(訳) 詳解 AWS CloudFormation 潮村 哲 その決定に根拠はありますか？ 確率思
マイクロサービスのQA・セキュリティ自動化テスト社内ツール「Testdeck」をOSS化しました！ | メルカリエンジニアリング
こんにちは。Product Securityチームの@gloriaです。前回、自動化テストエンジニアからセキュリティエンジニアへのキャリアチェンジについて記事を書きました。 今日は、最近OSSとして公開した社内ツールのプロジェクトについてお話をしたいと思います！ 「Testdeck」とは？ TestdeckはGolangで書いたgRPCマイクロサービスのインテグレーションテスト、エンドツーエンドテスト（E2E）とセキュリティテストの自動化ツールです。以下の機能を提供しています： gRPCとHTTPエンドポイントのインテグレーションテスト・E2Eテスト ファズテスト 悪意のあるペイロードの注入（Burp SuiteのIntruderという機能のように） gRPCとHTTPリクエストのユーティリティメソッド CharlesやBurp Suiteなどのデバッギングプロクシーに接続し、リクエストの
k8s のCDツールがいくつかあるので、それらの特徴についてまとめる。 一応CDツールの定義は"k8sにWebアプリケーションをデプロイするツール"を想定しているが、 k8sにおけるデプロイはマニフェストファイルを apply することなので、 そういったものはすべてCDツールとみなして調べた。 すべてのツールをちゃんと調べたわけではないので、ものによってはサラッとした紹介になっている。 Flux Tekton(Tekton Pipeline) Jenkins-X PipeCD GCP Cloud Deploy AWS Code Pipeline Spinnaker Pipeline & Stage 動的なパイプライン Managed Delivery Spinnaker を使いこなせるか? ArgoCD Single Source of Truth(SSOT) 複雑なCDパイプラインは作
Mercari Microservices Platformの進捗（2019年） | メルカリエンジニアリング
Microservices Platform TeamでTech leadをしている@deeeeeeetです． 昨年のMTC2018ではMicroservices Platformチームの立ち上げから1年で僕らが取り組んできたことを紹介しました． speakerdeck.com 具体的にはStranglerパターンによるMonolithからMicroservicesへの段階的なリクエスト移行を行うためのAPI gatewayの開発や，Microservicesのインフラのセットアップを簡単にしサービス開発チームのSelf-service化を進めるためのStarter-kitの開発，GoでのMicroservicesの開発を高速で始めるためのTemplateプロジェクトの開発，Spinnakerの導入などについて紹介しました． これらはPlatformとして最低限の機能を整備したにすぎず，さ
AirPods Pro を使って英会話の訓練をしながら Kubernetes をはじめとするあらゆるテクノロジーについて学べるすごい学習法
AirPods Pro を使って英会話の訓練をしながら Kubernetes をはじめとするあらゆるテクノロジーについて学べるすごい学習法 Dec 2, 2019 約 1 年ぶりにブログを書くにあたって、めちゃくちゃ釣りっぽいタイトルにしてみました。 (昨日すでに別の記事が出ていますが、書き始めたのはこちらが先でした) この記事は AirPods Pro のアフィリエイトによる小銭稼ぎ (まぁ今現在 Amazon では売り切れてるけど) と、僕のあらゆる物事に対する学習・訓練に対する考え方をまとめて、識者からフィードバックを得ることを目的にしています。 で、その両方を達成する上で都合がいいので、AirPods Pro を使ったシャドーイングを題材に書いてみようと思います。学習に関する考え方についてはいかにもわかってる風に書きますが、素人が適当なことを言っているだけなので、暇つぶし程度にご笑
個人的な感触ですが、ECSとEKSを並べてみた場合、ものすごい単純に以下の感想でした。 「できることはEKSのほうが多い。けど、そのぶん習得がECSより難しい」 よく考えるとこの「難しい」という単語、簡単に使ってしまいがちなんですが使い方を間違えると非常に危険な言葉だとも思ってます。それは「誰にとっての難易度か？」という観点が抜け落ちがちだから。 AWSにおいてコンテナワークロードを展開しようと検討する人は様々いると思いますし、その組織や担当者の技術スタックも千差万別でしょう。kubernetesの経験は豊富だけれどAWSの経験はあんまりない、またはその逆、もしくはDockerは散々さわっているけれど、オーケストレーションツール自体が初めての人など。 自分の現場経験はECSのほうがEKSより圧倒的に多く、今でも「EKSってやっぱりなんか敷居高いなぁ」と感じてます。でも、よくよく思い出すと最
KubeFest Tokyo 2020は、Kubernetes を利用している人、これから導入したい人が新しいことを学んだり、ネットワーキングすることを狙いとして開催するワンデイのオンラインイベントです。Kubernetes環境におけるCI/CDの問題をOpen Policy AgentとSpinnakerを導入することで解決する方法について、メルペイの山下氏が話をしました。前半はメルカリのマイクロサービスアーキテクチャについて。 自己紹介とアジェンダ 山下慶将氏（以下、山下）：「Open Policy AgentとSpinnakerで実現するマイクロサービスの安全な継続的デリバリー」というタイトルで発表いたします。よろしくお願いします。 はじめに自己紹介します。山下慶将と言います。Twitterは@_k_e_k_eでやっているので、よかったらフォローしてください。今はメルペイSREに所属
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜 を開催しました！ #kubernetes_casualtalk | メルカリエンジニアリング
Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜 を開催しました！ #kubernetes_casualtalk 2021年12月7日に、『Kubernetes Casual Talk 〜Ubie、CA、メルペイ各社のCI/CD事情〜』 を開催しました。 この記事はイベントレポートです。配信当日の内容を簡単に紹介します！ 詳しくはYouTube上にある配信アーカイブ動画をご視聴ください。 イベント概要 今回のイベントでは、Kubernetesを活用し開発している企業（Ubie、サイバーエージェント、メルカリグループ）のエンジニアたちが集まり、CI/CDをテーマに各社の取り組みをプレゼンテーションで簡単に紹介し、さらにパネルディスカッションで深堀りしていきます。 想定対象者は以下のとおりです。 Kubernetes を使っている / これから使お
Kubernetesが標準プラットフォームであるクラウドネイティブの世界でアプリケーションを開発し運用する方法を解説する書籍です。 はじめに、Kubernetesの概要と背景、ソフトウェアの開発と運用にKubernetesがもたらす変化、コンテナの動作原理、コンテナの構築および管理方法、クラウドネイティブなサービスおよびインフラの設計方法などの基礎を紹介します。 そしてKubernetesアプリケーションの作成とデプロイ、Kubernetesクラスタの設定と運用、クラウドインフラの自動化、Helmなどのツールを用いたデプロイについてサンプルコードを使って学習します。ロールベースのアクセス制御（RBAC）をはじめとした、セキュリティ、認証、パーミッションなどに対するKubernetesのサポートや、本番でコンテナとKubernetesの安全性を確保するためのベストプラクティスについても学びま
Kubernetes環境に特化したCI/CDツール「Jenkins X」を試してみる | さくらのナレッジ
広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹
GitOpsとは、分散バージョン管理システムであるGitを使用して、全てのアプリケーションとインフラストラクチャの望ましい状態を宣言的に記述し、管理する手法で、継続的デリバリーを実現する一つのモデルです。本連載では、GitOpsを活用した継続的デリバリーやプログレッシブデリバリーについて紹介します。第1回では、GitOpsの概要やメリット、GitOpsを実現するソリューションを紹介します。 はじめに 本連載はソフトウェアデリバリーにおける継続的デリバリー・プログレッシブデリバリーについての連載で、以下の3つの記事で構成されています。 第1回となる本記事では、継続デリバリーについての概要、話題となっているGitOpsは何か、どんなメリットがあるのか、現在のGitOpsソリューションについて紹介します。 第2回では、プログレッシブデリバリーの解説と各ソリューションの紹介・比較について説明します
AWS の利用料最適化の知識と実践力をつけるなら『Amazon Web Services コスト最適化入門』がオススメ！ - 継続は力なり
タダです. AWS を使っていると利用料金を気にしながら使っていくと思います.コストを最適化していくためにどんなサービスやツールを使ってコストを最適化していくかを学びたいと思って「Amazon Web Services コスト最適化入門」を購入しました.本書ではコストに関する知識と実践を両軸で学べてとても勉強になったので学べることと所感と一緒に本書を紹介します. 技術書典応援祭のページ techbookfest.org Booth booth.pm 目次 本書で学べること 読了後の所感 まとめ 目次 本書の章立ては次の通りです.本編として145Pの内容です. 第１章 Amazon EC2 第２章 Amazon EBS/EFS 第３章 Amazon VPC/データ転送 第４章 Amazon S3 第５章 AWS Simple Monthly Calculator 第６章 AWS Prici
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 手を動かしてわかるクリーンアーキテクチャ ヘキサゴナルアーキテクチャによるクリーンなアプリケーション開発 Tom Hombergs(著), 須田智之(訳) 詳解 AWS CloudFormation 潮村 哲 その決定に根拠はありますか？ 確率思考でビジネスの成果を確実化するエビデンス・ベースド・マーケティング 小川 貴史, 山本 寛 プログラマーのためのVisual Studio Codeの教科書【改訂2版】 川崎 庸
Argo CDによる継続的デリバリーのベストプラクティスとその実装 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoの池添(@zoetro)です。 現在San Diegoで開催されているKubeCon 2019に参加しているのですが、時差ボケで寝付けないのでこんなブログを書いています。 さて、現在我々はKubernetes上のアプリケーションの継続的デリバリーを実現するためにArgo CDというツールを利用しています。 github.com 本記事ではArgo CDについて簡単に解説した後、継続的デリバリーのベストプラクティスと具体的な実践例を紹介したいと思います。 Argo CD とは Kubernetes向けの継続的デリバリーツールとしては、Spinnakerや Jenkins Xなどが有名です。 これらのツールは継続的デリバリーのパイプラインを統合的に管理・実行するためのツールになっています。 一方のArgo CDは、パイプライン全体を管理するのではなくパイプラインの中の1つの
メルペイの Infrastructure as Code について、 HashiCorp Certified: Terraform Associate を受験した SRE に聞いてみた | メルカリエンジニアリング
メルペイの Infrastructure as Code について、 HashiCorp Certified: Terraform Associate を受験した SRE に聞いてみた こんにちは。メルペイ Engineering Office チームの kiko です。先月、 HashiCorp Certified: Terraform Associate がリリースされましたね。早速 @tjun さん（メルペイ SRE, Engineering Manager ）と @keke さん（メルペイ SRE ）が受験していました。というわけで、今回はこのお二人に、試験の話とメルペイの Infrastructure as Code について聞いてみました。 サマリー メルペイでは、クラウドのリソースや Datadogのダッシュボードなど様々なことをTerraformでコード化して管理している
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
Terraformのレビューを自動化するために、Conftestを導入してGithub ActionsでCIまで設定してみる - nariのエンジニアリング備忘録
はじめに 対象読者 OPA/Rego/Conftestとは Regoでポリシールールを記述して、ルール自体のテストも記述しながらCIへ組み込んでいくまで Conftest(OPA/Rego)のセットアップ 前提知識: Terraform plan 結果の構造 ConftestでTerrafom resource tag ルールを書いてみる ConftestでRegoで書いたルール自体のテストを書いて、実行してみる Conftestを実行するCIをGithub Actionで整備する Conftest/Regoで書いたポリシールール自体のfmt/verifyのCIの設定 Conftest testでTerraform plan結果をテストするCIの設定 終わりに 参考文献 English Version: dev.to はじめに メリークリスマス。eureka, inc. でSREをやってい
GitLabCI+ArgoCDを使って、「マージしたら5分でKubernetesへデプロイ」を実現する - エニグモ開発者ブログ
こんにちは。Engimo インフラチームの夏目です。 この記事はEnigmo Advent Calendar 2019の22日目の記事です。 最近はこちらのインタビューでも触れたとおりKubernetesクラスタを作ったり壊したりしていまして、今日の記事はKubernetesにおけるアプリケーションデプロイに関してのお話です。 Kubernetesの継続的デリバリ、どうしてますか？ Kubernetesをプロダクション環境で利用されているそこのあなた！アプリケーションをどうやってデプロイしていますか？ ローカルでDockerImageをビルド DockerHubのプライベートリポジトリへプッシュ kubectl editでDeploymentsのイメージタグを最新のものへ変更 といった人の手による温かみのあるデプロイをしている？ それはそれで心がこもった良いやり方かもしれませんが、おそらく
はじめに こんにちは。計測プラットフォーム開発本部SREブロックの纐纈です。今年の4月に入社し、ZOZOMATやZOZOGLASSの運用改善に取り組んでいます。また、今年の夏US向けにZOZOFITをリリースしましたが、そちらの機能追加にも今後関わっていく予定です。 計測システムでは最近Argo Rolloutsを導入してカナリアリリース、自動ロールバックを実現しました。本記事では、その具体的な導入方法と効果についてお伝えします。 目次 はじめに 目次 Argo Rollouts導入前のリリースの問題 カナリアリリースの導入 導入後の効果 ツールの選定 Argo Rolloutsについて DeploymentからRolloutへの移行 1. 既存のDeploymentを参照するRolloutリソースを作成して、Podを立ち上げる 2. HPAの対象をDeploymentからRolloutに
Otsuki Naoki @spinnaker1987 やっと！やっと見に来れた！恐竜のミイラ、ノドサウルス科「ボレアロペルタ」！なんだこれ！！すげえ！こんなの見たことないぞ！！鎧部分はもちろん皮膚の細部まで、これほどまでに全てが残っているとは。これが化石標本か。もはや彫刻。美しい…。📍 Royal Tyrrell Museum pic.twitter.com/psxxUf30Vb 2023-06-15 18:55:17
さよならSpinnakerよろしくGitOps
MF KESSAIとGKEへのDeployの歴史 Spinnaker導入によるオートメーション革命時代の幕開け Spinnaker導入後のツラミ 解決したいこと＆理想 GitOpsの採用と理由 GitOpsの手段としてCloud Builderを選択した理由 Gitops用のコード大公開 なんだかんだJenkins時代（2017/03 ~ 2019/04） Circle CIでBuild & Push Jenkins on GKEでポチッと Spinnakerによるオートメーション革命時代（2019/04 ~ 2020/05） CircleCI or Cloud BuilderでBuild & Push Spinnakerで自動デプロイ Gitops: 僕たちは最初からこれが理想だった（2020/05 ~ 現在） Cloud BuilderでBuild & Push GithubでAppr
カナリアリリースを自動化！Flaggerでプログレッシブデリバリーを実現した話 - ZOZO TECH BLOG
はじめに こんにちは。SRE部ECプラットフォーム基盤SREブロックの大澤と立花です。 本記事ではマイクロサービスのカナリアリリースに関して私達が抱えていた課題と、それをFlaggerによるプログレッシブデリバリー導入でどのように改善したのかを紹介します。 ZOZOTOWNのマイクロサービス基盤におけるカナリアリリース手段の変遷については以下のテックブログで紹介しておりますので気になった方はご参照ください。現在はIstio VirtualServiceの加重ルーティングを用いたカナリアリリースに一本化しております。 techblog.zozo.com techblog.zozo.com 目次 はじめに 目次 カナリアリリースの運用課題 解決手段としてのプログレッシブデリバリー Flaggerとは？ Flaggerによるプログレッシブデリバリーの進み方 Flagger導入時の検討ポイント (
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
【コンテナセキュリティてんこ盛り】クリエーションライン主催のAquaセミナーに参加してきた | DevelopersIO
先日、日比谷公園にほど近い会場でクリエーションライン株式会社様主催のAqua Securityコンテナセミナーに参加してきました。 2019年11月20日 Aqua Securityコンテナセミナー を開催します - クリエーションライン株式会社 基本は、弊社でも扱っているAqua Container Securityについての話が主だったのですが、製品仕様以外にもカカクコム様でのKubernetes運用のGitOpsの話であったり、決済サービスPaidyにおけるコンテナ運用の話であったり、最近話題のOSSな脆弱性スキャンツールのTrivyの作者、福田さんがイスラエルからオンラインセミナーやったり、コンテナ界隈の幅広い話題がてんこ盛りで、楽しい一日でした。 ここでは、そんな一日の内容を紹介します。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ｺﾝﾃﾅｾｷｭﾘﾃｨｰﾏﾂ
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
Merpay Advent Calendar 2020 の 9 日目は、バックエンドエンジニアの @sou がお送りします。 今日は少し泥臭く、この一年チームを成長させながら運用と戦ってきた話を書こうと思います。 私の所属するチームは加盟店情報の管理を担っており、その性格から運用に伴う作業が数多く発生します。 どんなプロダクトにも運用はあると思いますが、このチームが直面した運用の負荷はそのボリュームと複雑さから、私のキャリアの中でも最大と言えるものでした。 その運用に私たちがどのように立ち向かい改善を行ってきたか、みなさまの参考になれば嬉しく思います。 なぜそんなしんどい運用を頑張っているのか、メルペイでのやりがいや楽しさ、頑張った結果の美味しい牛カツと日本酒のお店に出会えた話も添えさせていただければと思います。 ここで言う運用とは、事業を進めていく上でさまざまな場面で発生する、自チーム以
CLOMOの本番環境をKubernetes化した話 - i Cubed Systems Engineering blog
アイキューブドシステムズでCLOMOシステムの運用・監視をしているd-tasakiです。プラットフォーム運用部という部署に所属しています。「CLOMOシステムを絶対に止めない！」を部署のミッションとして、システムの安定的な提供を日々心掛けております。 2010年にサービスインしたCLOMOはアーキテクチャを少しずつ変えながら成長してきました。途中でAWSからAzureへとクラウド基盤を移すこともありましたが、いわゆる仮想マシンをベースとしたクラウドシステムとして構築し、運用していました。 2019年8月末にそれまでの仮想マシンをベースとしたシステムから、コンテナーをベースとしたAzure Kubernetes Service (AKS)に乗り換えました。そのbefore/afterの話を今回は書きます。 前回はCLOMOの開発環境をDocker化した話だったので、アンサーソングのようになっ
多くのユーザーさまに安心して遊んでもらえる新作ゲームを提供するためのコロプラの取り組みを紹介する「大規模モバイルゲームのローンチを支える技術」。ここでサーバー基盤グループのごましお氏が登壇。ここからは、「複数人のプレイログを収集する」フェーズから「規模を増やしながら繰り返す」フェーズまでについて話します。前回はこちらから。 複数人のプレイログを収集する ごましお氏：続いては、複数人のプレイログを収集するフェーズです。例えば、開発チーム内でのプレイ会とか社内プレイ会みたいな、なるべく大人数がプレイするタイミングでログを収集します。 自分でプレイしてログを収集するのとは目的が違っています。ここでは、1ユーザーあたりのRPSを測定すること、それからAPI呼び出しの全体の割合を把握することを目標とします。なるべく多くの人数でプレイしたログが収集できると、それだけ精度の高い情報が得られて、以降の試験
How Netflix Scales its API with GraphQL Federation (Part 2)
In our previous post and QConPlus talk, we discussed GraphQL Federation as a solution for distributing our GraphQL schema and implementation. In this post, we shift our attention to what is needed to run a federated GraphQL platform successfully — from our journey implementing it to lessons learned. Our Journey so FarOver the past year, we’ve implemented the core infrastructure pieces necessary fo
As we continue to grow here at Netflix, the needs of Revenue and Growth Engineering are rapidly evolving; and our tools must also evolve just as rapidly. The Revenue and Growth Tools (RGT) team decided to set off on a journey to build tools in an abstract manner to have solutions readily available within our organization. We identified common design patterns and architectures scattered across vari
2019年9月24日、株式会社メルカリにて、エンジニア向けイベント「Mercari Bold Challenge ~CTOとエンジニアが赤裸々に語る 変化と挑戦~」が開催されました。社員数は1,800人を超え、40ヵ国以上の国から多様な人材が集まり急成長を続けるメルカリ。一方で、急成長に伴って新たな課題も生まれています。そこで今回は「Bold Challenge（大胆な挑戦）」というテーマで、メルカリのエンジニア組織の変化と挑戦について、そのリアルを語ります。プレゼンテーション「なぜMicroservicesか?」に登場したのは、株式会社メルカリ Software Engineer, Microservices Platformの中島大一氏。講演資料はこちら メルカリ、マイクロサービス化の歴史 中島大一氏：「なぜMicroservicesか？」というタイトルで発表させていただきます、@de
この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform DX Teamの@micnncimがお届けします。 はじめに メルカリでは社内エンジニアの多くがマイクロサービスを開発に携わっているため、Platform Developer Experience（DX）チームは、Platform Engineeringをもって、エンジニアがビジネスロジックなどのバックエンド開発に集中できるよう、さまざまな社内プロダクトを提供しています（その概要については、前回の記事「Developer Experience at Mercari」で紹介しています） この記事では、私たちが開発してきたCUEによるKubernetesマニフェストの抽象化について紹介します。 これはKubernetesマニフェストの構成に関する多くの問題を解
Open Policy AgentとSpinnakerで実現するマイクロサービスの安全な継続的デリバリー
KubeFest Tokyo 2020 Track1 15:35~16:10
Dark Side of DevOps
Transcript Protsenko: My name is Mykyta. I work at Netflix. My job is basically making sure that other developers don't have to stay at work late. I call it a win when they can leave at 5 p.m., and still be productive. I work in the platform organization, namely in productivity engineering, where we try to abstract toil away for the rest of engineers. Where we try to make sure that the engineers c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
デプロイ今昔 - Hatena Developer Blog
マイクロサービス設計原則: SOLIDではなくIDEALS
どのようにPlatformチームの組織変更をしたか | メルカリエンジニアリング
k8sの各種CDツールを比較する - pospomeのプログラミング日記
EKSは本当にECSより難しいのか？ | DevelopersIO
メルペイのエンジニアが教えるマイクロサービスアーキテクチャを安全かつ継続的に運用する方法
Kubernetesで実践するクラウドネイティブDevOps
Gitで継続的デリバリーを実現する「GitOps」とは？ 概要とGitOpsソリューションの紹介
Argo Rolloutsを導入してカナリアリリースを実現する - ZOZO TECH BLOG
恐竜の原型を殆ど残しているミイラ化石がもはや彫刻「イラストが妄想なんかじゃなかった証明」
画像検索システム再設計のお話 | メルカリエンジニアリング
チームで運用と戦い、おいしい牛カツと出会った話 | メルカリエンジニアリング
正しい負荷をかけ、効果的・効率的に試験し、適切に評価する バックエンドの負荷試験の実施と評価で大切なこと
How We Build Micro Frontends With Lattice
ベストな「How」は「Why」でしか規定できない––メルカリがマイクロサービスに移行した理由と、その軌跡
CUEを使用したKubernetesマニフェスト管理 - メルカリエンジニアリング