大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
今あらためてコンテナ界隈を俯瞰する「Docker/Kubernetes コンテナ開発入門」 | DevelopersIO
単著ならではの一貫性と、筆者のノウハウをありったけ突っ込んでやろう！というあっつい想いを感じる素晴らしい書籍です。 「2018年から2024年、コンテナ界隈もいろいろ変わったもんだなぁ…（しみじみ）」 献本いただいた「Docker/Kubernetes 実践コンテナ開発入門 改訂新版」を眺めながら、ハマコーはそんな感慨にふけっておりました。 5年前、Docker始める人はまずこれ！書評「Docker/Kubernetes 実践コンテナ開発入門」で旧版の書評を書いたご縁で、著者の山田さんより改訂新版の献本をいただき、今この場にその本があるというわけです。 改めて中身読んでいたのですが、単著でこれはマジでやばいです。今コンテナを使った開発を進めようとしたときにでてくるであろう、開発〜運用面でのトピックが幅広く凝縮されている本で、「これ一冊読んどけば、マジはずれないよ」というぐらいの力が入った書
IP Anycast について
Cloudflare は現在120か国、320都市以上に500を超えるエッジデータセンターを保有しています。これらはIP Anycast という技術を用いて同じIPアドレスでその時点でのユーザーから一番近いエッジを判別しています。 また技術的に必然性のある場合を除き、全てのエッジの全てのサーバで全ての機能を動作させるというのが基本設計です。 このブログサイトでは今までCloudflareの様々な機能をテストし手順としてまとめてきており、非常に多くの機能が存在していることをお分かりいただけたかと思いますが、パブリッククラウドと異なりそれらの機能は可能な限り内部ルーティングなしで動作するように設計されており非常にモノリシックです。このため、ユーザーはどこにいても一番近いエッジと自動で通信が確立され同じ機能が提供されることになります。ゼロトラスト系のサービスを使う場合これはセキュリティと通信速度
「入門 継続的デリバリー」は継続的デリバリーを学ぶのに最適な教科書だった. - Lean Baseball
最近読んだ「入門 継続的デリバリー」がとても良かったので紹介しますね, というエントリーです. 入門継続的デリバリー良かったです. 「継続的デリバリー（Continuous Delivery）」とか「DevOps」ってどこから学ぶかわからんな！？ というのは割とあるあるだと思っています, そもそもめちゃくちゃ難しい話なので（ちゃんと学ぼうとすると）. そんな中, 「入門 継続的デリバリー」がよく説明できてて良かったので感想と関連する書籍を紹介できればと思っています. TL;DR 入門 継続的デリバリー 我々はなぜCDをするのか? 具体的なプラクティス 入門後に読むべき良著 Kubernetes CI/CDパイプラインの実装 継続的デリバリー チームトポロジー 結び - 我思うCDとDevOps TL;DR 「入門 継続的デリバリー」は継続的デリバリーの大切さと概念, 手法を現実にありそうな
入門 継続的デリバリー
継続的デリバリーとは、コード変更を必要に応じて迅速かつ安全に、継続的にリリースできるようにするための開発手法です。本書は、初めて継続的デリバリーに取り組む読者向けに、必要な知識とベストプラクティスをていねいに紹介する入門書です。基本的な概念や技術、アプローチの解説はもとより、章ごとに事例を使用しながら、継続的デリバリーを実践する際に直面するさまざまなシナリオを取り上げ、その全体像・世界観を包括的に理解することができます。 序文 はじめに 第1部 継続的デリバリーとは 1章 『入門 継続的デリバリー』へようこそ 1.1 継続的デリバリーは必要？ 1.2 なぜ継続的デリバリー？ 1.3 継続的デリバリーとは 1.4 インテグレーション 1.5 継続的インテグレーション 1.6 何をデリバリーするのか？ 1.7 デリバリー 1.8 継続的デリバリーと継続的デプロイメント 1.9 継続的デリバリー
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。株式会社サイバーエージェントのAIオペレーション室で新規立ち上げをやっております。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬からAIオペレーション室に移動し、新規立ち上げのインフラ環境の構築からCI
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
N予備校のインフラを Amazon EKS に移行した話 はじめまして。ドワンゴの教育事業で SRE エンジニアをしている西永です。 N予備校 では Kubernetes を採用しています。 これまでは Control Planes 含めすべての構成要素を自前で構築し運用していましたが、様々な問題が発生してきたことから Amazon EKS に移行をおこないました。 この記事では、Amazon EKS への移行に取り組んだ事例にについて紹介します。 なぜ移行したのか Kubernetes のバージョンが古い これまでの構成では Kubernetes のバージョンアップが考慮されておらず、Kubernetes を利用した N予備校の提供開始以降バージョンアップができていない状態でした。 そのためバージョン 1.7 を利用し続けていました。 バージョン 1.7 は 2017 年にリリースされ、
Platform Engineering on Kubernetes を読んでCloud Native の現在地を理解する - じゃあ、おうちで学べる
はじめに 近年、Kubernetesの採用が進む中、複数のチームが関わり、複数のクラウドプロバイダーへのデプロイを行い、異なるスタックを扱う組織では、その導入の複雑さが新たな問題となっています。本書 『Platform Engineering on Kubernetes』は、Kubernetes に登場しつつあるベストプラクティスとオープンソースツールを活用し、これらのクラウドネイティブの問題を技術的に組織的にどのように解決するかを示してくれます。 learning.oreilly.com 本書では、Kubernetes上に優れたプラットフォームを構築するための要素を明確に定義し、組織の要件に合わせて必要なツールを体系的に紹介しており、実際の例とコードを交えながら各ステップをわかりやすく説明することで、最終的にはクラウドネイティブなソフトウェアを効率的に提供するための完全なプラットフォーム
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
サイボウズOfficeのフロントエンド刷新（DOGOプロジェクト) をやってます！ - Cybozu Inside Out | サイボウズエンジニアのブログ
DOGOプロジェクトのマスコット こんにちは。サイボウズOffice開発チームの西谷です。 昨年より、私たちは”DOGO”と銘打ち、サイボウズOfficeのフロントエンド部分をNext.js App Routerを用いて刷新しています。 本ブログではこの刷新プロジェクトの概要やこれまでの取り組みについてご紹介します。 プロジェクト発足の背景 刷新の方針 刷新後のサイボウズOfficeを支える技術 アプリケーションフレームワーク モニタリング テスト インフラ CI・CD これまでの取り組み Next.js側で画面のルーティングを制御する リリースパイプラインの構築 全画面共通部分の実装 今後の取り組み メンバー募集しています！ プロジェクト発足の背景 サイボウズOfficeはこれまで、パッケージソフトウェアとしていくつものバージョンを重ね、クラウドサービスへ転身し、時代に合わせて様々な形に
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
モノリシックなAPIでのカナリアリリース導入と開発者の認知負荷を減らすためConfigMapを使わない選択をした話 - MonotaRO Tech Blog
こんにちは、プラットフォームエンジニアリング部門コンテナ基盤グループの岡田です。 当社ではECサイトの裏側で利用されているモノリシックなAPIをコンテナ化し、Elastic Kubernetes Service (EKS) に移行しました。 移行直後は下記のようにトラブルに見舞われましたが、現状安定した運用ができています。 EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog 今回はトラブル事例ではなく活用事例になりますが、アプリケーションリリース起因でのトラブル影響を減らすため、コンテナ化したAPIに対してカナリアリリース導入を行いました。そのため、導入に際して生じたConfigやSecret周りの課題
OpenAIの共同創業者兼CEO、サム・アルトマン。 JASON REDMOND/AFP via Getty Images 生成AI（ジェネレーティブAI）を開発するOpenAI。仕事は複雑だが、従業員の報酬体系はそうでもない。 話題の｢ChatGPT｣を手がけるOpenAIは創業から8年が経つ。共同創業者兼CEOのサム・アルトマン（Sam Altman）が率いる同社は、約500人の社員に対して、シリコンバレーではほぼ唯一といえるユニークな方法で報酬を支払っている。 この2年、米IT業界は大混乱に陥り、大量のレイオフや、パンデミックによる人材獲得競争が要因となった巨額の報酬をリセットする経営陣が続出した。だがOpenAIは比較的シンプルで分かりやすい報酬体系を築いている。 技術者給与データベースとアドバイスを提供するLevels.fyiの創業者ズヘイヤ・ムサ（Zuhayeer Musa）は
SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。開発部門 開発部 Data AI Strategyセクション データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました。 ※ DAOについての詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください SREエンジニアの責務の一つは、プロダクトのリリースサイクルを極限まで短くし、次々と新しいサービスを世の中にリリースすることです。ChatGPTのような誰でも簡単に扱えるAIモデルが誕生したことで、プロダクト開発競争は今後ますます激しくなっていくと予想しており、SREエンジニアの責務の重要性をヒシヒシと感じています。 そう
はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K
12月11日～12日に開催された「CloudNative Days Tokyo 2023」で『一日で学ぶクラウドネイティブ技術実践ハンズオン』の企画を担当したCloudNative Days Tokyo 2023 実行委員会は、同教材を12月8日にGitHub上で一般公開した。 『一日で学ぶクラウドネイティブ技術実践ハンズオン』は、Kubernetesやクラウドネイティブ技術に精通した実行委員会のメンバーにより、現在標準的に使用されているクラウドネイティブ技術を一通り学べるように設計されたハンズオン。 教材には準備用チャプター1つと10個の通常チャプターが含まれており、準備用チャプターで環境を構築した後、「Prometheus」「Grafana」「OpenTelemetry」「Argo CD」「Argo Rollouts」「Istio」「Cilium」「Hubble」の8つのクラウドネイテ
WEARにおけるKubernetesネイティブな負荷試験基盤の導入とその効果 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部バックエンド部SREの山岡（@ymktmk）です。普段はファッションコーディネートアプリ「WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 昨年から、私たちのチームでは分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始し、先月ついにKubernetesへの移行が完了しました。 techblog.zozo.com また、Kubernetesへの段階的な移行と並行して、Kubernetesの柔軟性を活かした運用改善や開発者体験の向上に取り組んできました。その一環として、k6-operatorを活用した負荷試験基盤を作成しました。 本記事ではWEARにKubernetesネイティブな負荷試験基盤を導入した背景とその効果についてご紹介します。Kubernetes環境における負荷試験基盤の導入を検
エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています！） どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき
クラウドで使うコンテナというと、AWSのAmazon ECS、Google Cloud Runなどがある。今回はコンテナオーケストレーションのKubernetesのアーキテクチャについて、スリーシェイク bells17氏が解説する。KubernetesはもともとGoogleが内部で運用していたコンテナ基盤のBorgをベースとしており、Cloud Native Computing Foundation（CNCF）に寄贈されたものだ。認知度からも分かるように、成熟度レベルは「GRADUATED」で成熟が進んだものとなっている。 KubernetesのコアとなるControllerとは？ コンテナオーケストレーションツールとして有名なKubernetes。代表的な特徴を挙げるとサービスディスカバリとロードバランシングがある。Serviceリソースを定義することで、多数起動されているコンテナに接続
5/3～5/5に開催された第34回世界コンピュータ将棋選手権にHEROZチームとして、「dlshogi with HEROZ」というプログラム名で参加しました。 大会の概要 世界コンピュータ将棋選手権は、1990年より毎年開催されている歴史のあるコンピュータ将棋の大会です。 今回は34回目の開催で、45チームが参加しました。 第1予選、第2予選を通過した上位8チームで総当たりのリーグ戦で決勝戦が行われました。 大会の結果 決勝リーグでは最終戦で自力で勝てば優勝でしたが千日手になり、トップの「お前、 CSA 会員にならねーか？」(tanuki-チーム)と勝ち点同一でSB差で準優勝という結果になりました。 なお、二次予選は昨年とは異なり苦戦を強いられて、ボーダーラインで辞退があったため繰り上げで決勝に進めました。苦戦した事情は後述します。 今大会の特徴 定跡が出回った 先手勝率が高い角換わりの
Amazon EKS の Ingress を考える ~ AWS Load Balancer Controller + Istio ~ - 東京ガス内製開発チーム Tech Blog
みなさんこんにちは、杉山です。花粉症に必死に抗う毎日ですが、気づいたら3月も残りわずかですね。同士のみなさん、がんばって乗り越えましょう！ さて今回は、私の前回記事：Amazon EKS 導入に続いて、少しだけ深堀りして Ingress の部分について書いてみたいと思います。 Amazon EKS の Ingress を考える ALBC + Istio 全体構成 構築してみる - ALBの作成 - Istio コアコンポーネントのインストール Gateway リソースの作成 Virtual Service の作成 実際にやってみて さいごに Amazon EKS の Ingress を考える ━ クラウドベンダーが提供するマネージド Kubernetes をやるということは、 Ingress を考えるということだ ━ このような言葉を、偉大なる先人の方に聞いたことがあります。（ないです）
ArgoCDバージョンアップを安全かつ迅速に行うための取り組み - freee Developers Hub
概要 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) 上にほとんどのアプリケーションが載っており、EKSへのデプロイ基盤としてはOSSの ArgoCD を利用しています。 ArgoCDから各クラスタにデプロイを行うため、非常に中央集権的なアーキテクチャとなっています。そのため、ArgoCDのバージョンアップは安全かつ迅速に行う必要があります。 本記事では、ArgoCDのバージョンアップの際に行っている取り組みをいくつか紹介します。 かなりマニアックですが、イントロダクションとまとめだけでも読んでいただければ幸いです。 イントロダクション 2023/04からfreeeでPlatform Deliveryチームに所属している gussan です。 Platform DeliveryチームはCI/CD全般のPla
米オスカー俳優アラン・アーキンさん死去 89歳
ネットフリックスのドラマ「スペンサー・コンフィデンシャル」のプレミア上映会に出席した俳優のアラン・アーキンさん。米カリフォルニア州ウエストウッドで（2020年2月27日撮影）。(c)Mark RALSTON / AFP 【7月1日 AFP】映画『リトル・ミス・サンシャイン（Little Miss Sunshine）』で米アカデミー賞（Academy Award）助演男優賞を受賞した俳優のアラン・アーキン（Alan Arkin）さんが死去した。89歳。息子3人が6月30日に明らかにした。 アーキンさんは1934年3月26日、ロシア・ドイツ系ユダヤ移民の両親の下、ニューヨーク・ブルックリン（Brooklyn）で生まれた。 1967年の『暗くなるまで待って（Wait Until Dark）』ではオードリー・ヘプバーン（Audrey Hepburn）さんと共演。1968年の『愛すれど心さびしく（T
Cloudflare Calls: millions of cascading trees all the way down
Cloudflare Calls: millions of cascading trees all the way down04/04/2024 Following its initial announcement in September 2022, Cloudflare Calls is now in open beta and available in your Cloudflare Dashboard. Cloudflare Calls lets developers build real-time audio/video apps using WebRTC, and it abstracts away the complexity by turning the Cloudflare network into a singular SFU. In this post, we dig
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / 杉本 浩平
本記事は、2023年9月29日に開催された SRE NEXT 2023 に登壇させていただいた みてねプロダクト開発部 基盤開発グループ SREチーム 杉本（@kohbis）のセッションを、文字起こしをベースにブログ記事にまとめたものです。 セッションについてタイトル1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 セッション概要『家族アルバム みてね』（以下、『みてね』）のインフラは、2021年始めにAWS OpsWorksからAmazon EKSのマネージドK8s基盤へと移行しました。K8sの採用は大きな恩恵がある一方で「運用コストが高くなる」と一般的に言われています。その理由としてあげられやすい4ヶ月に一回のマイナーリリースへの追従については、K8sクラスタの運用経験のある方であれば少なからず苦労した思い出があるのではないでしょうか。
CloudflareのCDNについて解説しています。CDN（Content Delivery Network）は、Webアプリケーションのパフォーマンスと信頼性を向上させるために、遅延を減少させ、コンテンツを近くでキャッシュする手法です。CloudflareのCDNはAnycastルーティングを用い、Tiered Cache、Argo Smart Routing、Cache Reserveなどの技術を採用しており、パフォーマンス向上、コスト削減、セキュリティ強化を実現しています。 CDN Advent Calendar 2023 の 1 日目を担当する、watsuyo です。2023 年 9 月に、Classmethod Europe へ入社しました。 最近は、Cloudflare Workers や Next.js を使った開発で、 CDN や キャッシュについて考えることが多いです。別
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告のデータサイエンティストをしております、田辺 広樹（ざるご）です。 時系列ビッグデータに対しては、オフライン評価の実施にあたって、学習時とは異なる操作を行う必要があります。弊チームでは従来、これらに対して、書き捨ての集計クエリ、Python スクリプトを作成することで対応を行っていました。 本記事では、これらの操作を自動化し、オフライン評価のための工数を削減した取り組みをご紹介します。 前提: Yahoo!広告における機械学習パイプライン Yahoo!広告では、時系列ビッグデータを用いて、ヤフーの AI プラットフォーム上で広告配信コンバージョン率（CVR）予測モデルを学習し、広告配信に活用しています。
noteのEKS移行が完了しました。EKSへ移行するにあたって、サービスのアーキテクチャからデプロイ環境、監視体制、運用までを全て見直しインフラをモダンな環境にすることができました。 EKSへ移行するにあたり、様々な問題や課題がありました。 活用できていないログや破れ窓化したアラートをどう整備するか どのようにアプリケーションの負荷試験を実施し、ボトルネックを探るか CloudFrontを利用したゼロダウンタイムでEKSへの切り替え 大量に存在しているバッチをどのように移行していくか 今回はEKS移行の際に起きたトラブルやそれらを解決したときのTipsなどを、SREチームの2人にお聞きしました。 インタビュイー 中村 昴： 株式会社ドリコムにて、ソーシャルゲームタイトルのAWSインフラを担当。2020年9月よりnote株式会社に入社し、現在はSREとしてnoteのインフラ周りの改善を行って
【ArgoCD🐙️】KubernetesのマルチテナントパターンとArgoCDの実践テナント設計 - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Kubernetesのマルチテナントパターンの種類 マルチテナントパターンをArgoCDで実践する場合にオススメのパターン (★) ArgoCDのNamespacedスコープモードとClusterスコープモード ArgoCDのテナントが防いでくれる誤った操作の具体例 記事のざっくりした内容は、以下のスライドからキャッチアップできちゃいます！ この記事から得られる知識 01. はじめに 02. なぜマルチテナントが必要なのか シングルテナントの場合 マルチテナントの場合 03. Kubernetesのマルチテナントパターン マルチテナントパターンの一覧 Clusters as-a-Service Control Planes as-a-Service Namespaces as-a-Service カスタムリソ
Argo WorkflowsとGatlingで作るスケーラブルな負荷テスト環境 - asoview! TECH BLOG
これはアソビュー！ Advent Calendar 2023の1日目です🎄 今年のアドベントカレンダーは2面公開なので、ぜひそちらも御覧ください！ アソビューでVPoE兼Tech Leadをしているdisc99🐼です！ 今回はアソビューの負荷テスト環境の事例を紹介させてもらえればと思います！ はじめに 負荷テストに求められるもの Argo Workflowsとは Gatlingとは システム構成 運用事例 テストシナリオの作成と計画 負荷テスト実施とモニタリング テスト結果の分析とパフォーマンスの改善点 ナレッジの蓄積 まとめ はじめに 多くのサービスは実際の運用環境において予期せぬトラフィックやアクセスパターンに直面します。 サービスのパフォーマンス、スケーラビリティ、安定性を評価するために負荷テストは重要で、実際のトラフィックを模倣し、サービスが指定された要件を満たすかどうかを評価
※本記事は、技術評論社「Software Design」(2023年10月号)に寄稿した連載記事「Google Cloudで実践するSREプラクティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 前回はRenovateによる依存関係の更新について解説しました。今回はArgo CD1を利用した、Kubernetesへの継続的デリバリ(Continuous Delivery、CD)について紹介します。Argo CDとは何か、なぜ使うのか、基本的な機能やキャディでどのように活用しているかを紹介します(図1)。 ▼図1 CADDiスタックにおける今回の位置付け Argo CDとは Argo CDはKubernetesへの継続的デリバリを行うツールです。Gitリポジトリをソースとして継続的デリバリを行う手法をGitOpsと呼びます2。Argo CDはKubernetesへのデ
バグバウンティにおける Critical な脆弱性報告の事例まとめ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、バグバウンティで実際に報告されている危険度が Critical (致命的)な Web アプリケーションの脆弱性について事例をもとに紹介します。 1. 始めに 免責事項 想定読者 Critical な脆弱性 CVSS 2. Critical な脆弱性報告の事例 XSS (Cross-site Scripting) SQL Injection Command Injection SSRF (Server Side Request Forgery) Path Traversal Code Injection XXE (XML External Entitie) Insecure Deserialization Improper Access Control IDOR (Insecure Direct Object Reference
[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化（ビジネス・インテリジェンス・ツールでのレポート作成など）するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
![[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b3b596d5f14f08f5d17d2a8dc9e2fa0dc0823d5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Fdata-engineering-study-23_1200x630.jpeg)
クラウドネイティブなアプリケーションやインフラをデプロイする方法である「GitOps」を提唱したWeaveworksの創業者兼CEOのアレクシス・リチャードソン氏は2024年2月5日（米国時間、以下同）、「2023年度は収益と顧客数を伸ばしたものの、2024年2月上旬に事業を閉鎖する」とLinkedInで明らかにした。 Weaveworksが販売していたのはオープンソースの「Flux CD」を基盤とする継続的デリバリー（CD）の商用製品だ。Flux CDは、2021年にCNCF（Cloud Native Computing Foundation）に寄贈されており、「Graduated」という成熟度に分類されていた。 リチャードソン氏は、LinkedInへの投稿で次のように述べている。 「売上高の伸びには波があり、資金繰りは不安定だった。当社の長期的成長にはパートナーか、投資家が必要だった。
GREE Tech Conference はさまざまなチャレンジを通して得られた知見や、これから取り組んでいくチャレンジを紹介する技術カンファレンスです。ここでグリーエンターテインメント株式会社の菅澤氏が登壇。続いて、開発したゲームアプリのシステム概要・ログ構成と、アプリリリース時に起きた事象とそこからの教訓について話します。前回はこちらから。 ゲームアプリのシステムの概要 菅澤要平氏：続いて、グリーエンターテインメント社が開発したゲームアプリのシステムの概要について話します。 （スライドを示して）記載のとおりですが、インフラは「AWS」で、メインの言語はPHP7.4、Webサーバーに「Apache」、DBサーバーはAmazonの「Aurora」、キャッシュサーバーに「ElastiCache」を使用しています。CDNには、「Akamai CDN」を使っています。なので、けっこう一般的な構成
AIによるコード提案「GitLab Duo」をVisual Studioで使えるようにする拡張機能が登場
【お詫びと訂正:2023年7月25日午後4時】初出時、記事タイトルと本文で拡張機能の適用対象を「Visual Studio Code」と誤って掲載しておりました。正しくは「Visual Studio」です。お詫びして訂正いたします。 GitLabは2023年6月29日（米国時間）、「GitLab for Visual Studio」の提供を開始した。GitLab for Visual Studioは、「GitLab Duo」によるAIを使ったコード提案機能を、Microsoftの統合開発環境「Visual Studio」上で使えるようにする拡張機能だ。GitLab Duoが接続する環境として、GitLab SaaSとGitLab self-managed両方に対応している。 使用を開始するには「Visual Studio Marketplace」からGitLab for Visual St
アソビュー！ Advent Calendar 2023の24日目(B面)です。 こんにちは！ アソビューでバックエンドエンジニアをしている頭島です。 今回は約1年間 Embedded SREで実施したこと､得られたことをご紹介します｡ アソビューにおけるEmbedded SRE 実施したこと Argo CDの導入 カナリアリリースの導入 ドキュメンテーションの推進 得られたこと 最後に アソビューにおけるEmbedded SRE 一般的には専任のSREメンバーがプロダクトチームに参加するケースが多いと思いますが、アソビューのEmbedded SREでは、プロダクトチームに在籍するメンバーがSREの役割を持ち、SREチームのメンバーのサポートを得ながらプロダクトチームの課題解決やSREのプラクティス浸透などを担います。 去年のアドベントカレンダーで詳しく紹介しております｡ tech.asov
ポスト量子暗号が一般利用可能に
過去12か月間、当社はインターネット上の暗号化の新しいベースラインであるポスト量子暗号について議論してきました。昨年のバースデーウィークの間、Kyberのベータ版がテスト用に利用可能であること、そしてCloudflare Tunnelがポスト量子暗号を使用して、有効にできることを発表しました。今年初め、当社は、この基礎的なテクノロジーを誰もが永久に無料で利用できるべきだというスタンスを明確にしました。 今日、当社は6年を経てマイルストーンを達成し、31件のブログ記事を作成中です。以下に、より詳細に説明されているように、お客様、サービス、および内部システムへのポスト量子暗号サポートの一般提供のロールアウトを開始しています。これには、オリジン接続用のPingora、1.1.1.1、R2、Argo Smart Routing、Snippetsなどの製品が含まれます。 これはインターネットのマイル
A layered approach to MLOps
This article was co-authored by Chris Hughes & Bernat Puig Camps At present, MLOps — Machine Learning Operations — is a popular topic, with numerous books, blog posts, conference talks, and more focusing on how to build a scalable, repeatable, and production-ready Machine Learning workflow. Despite this interest, MLOps remains an emerging area, and there seem to be many different ideas on the “bes
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
N予備校のインフラを Amazon EKS に移行した話 - ドワンゴ教育サービス開発者ブログ
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
OpenAI、IT業界の報酬体系も変革。給与は一律、ボーナスなし、交渉なしだが4年で数億円
Argo Workflowsを使った機械学習環境の構築手順 - アダコテック技術ブログ
CloudNative Days、クラウドネイティブ技術を学べるハンズオン教材をGitHubで一般公開
AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
アーキテクチャから読み解くKubernetes～Controllerの仕組み～
第34回世界コンピュータ将棋選手権 結果報告 - TadaoYamaokaの開発日記
Cloudflare CDN の概要と採用技術について | DevelopersIO
時系列ビッグデータの機械学習オフライン評価を自動化した話（Apache Airflowの応用例）
noteがEKSへの完全移行までにやったこと｜noteエンジニアチームの技術記事
第7回: Argo CDによるKubernetesへの継続的デリバリ - CADDi ENGINEER Tech Blog
「GitOps」を提唱したWeaveworksの閉鎖が物語る、オープンコアモデルの難しさ
アプリリリース時に起きた「ログの欠損」と「データの齟齬」 “復旧できない”施策もあるからこそ重要な事前確認
Embedded SREを1年間やってみた - asoview! Tech Blog