[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO
eBPF ってご存じでしょうか！（挨拶 eBPF はざっくりいうと、アプリケーションを含む Linux OS 内の動作を横から観測できる仕組みで、近年注目されることも多くなった技術です。最近 (?) Windows がサポートを開始したことも、記憶に新しいかたもいらっしゃるかと。 その仕組み上、セキュリティや開発（デバッギング）目的に使われることも多いですが、可観測性 (オブザーバビリティ) 目的としてみても非常に強力なものです。 本セッションはその可観測性プラットフォーム製品である New Relic が eBPF とどう関係しているか、 24 分ほどのスリムなセッションで、デモを交えてがっつり説明して頂けました。 なお、クラスメソッドがお送りする DevelopersIO 2022 イベントの全セッションはこちらから参照可能です： 以下、簡単にレポートします。 動画 (24 分) Yo
![[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25984aafb6b7072ac6be07cc99b912fd69769beb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F07%2F202207-report-ebpf-newrelic-devio22_eyecatch.png)
複数チームが開発するモノリシックなサービスにおける、Rubyのバージョンアッププロジェクトの進め方とこのプロジェクトから学んだこと - ANDPAD Tech Blog
こんにちは、アンドパッドSWEの あかりです。 今年もやってきました、花粉症の季節ですね😇 去年、「来年こそはこの時期だけ沖縄に避難する！」と固く誓っていたですが、子供が産まれてそんなことが言ってられなくなリました。嬉しい悲鳴です。 ですので、家に引きこもることにした、その成果がこちらの記事になります！ 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスのRubyを2.7から3.0にバージョンアップしました。この記事では、バージョンアッププロジェクトの進め方と今回のプロジェクトを通して学んだことを説明します。 2. Rubyバージョンアッププロジェクトの始動 複数のチームが開発を行うモノリスでは、Ruby・Rails・各種gemやライブラリのアップデートを誰が責務を持って行うのか、宙に浮きがちな問題です。施工管理サービスも歴史が長く、複数のチームが開発を行うモノリシ
Amazon EKSとECSの最新事例を聞いてきた（ JAWS-UG コンテナ支部 #14 #jawsug_ct ）
会場のAbema Towersは、最近できたばかりの新しいビルだからか、まだ工事中の箇所もありました。しかし綺麗なビルとお部屋は気持ちがいいですね。 それでは、各発表に関してのポイントや所感などを書いていきたいと思います。イベントのハッシュタグは #jawsug_ct です。 catabira.com における Amazon EKS 活用事例 — Kubernetes による継続的デリバリ編池内 孝啓さん(@iktakahiro) / 株式会社 catabira CEO 冒頭、発表者からの参加者へEKSやKubernetesの利用について質問。会場内にはEKS使っている方がちらほら。EKS以外のKubernetes経験者もそこそこ（GKEやAKSの経験者の方なのかも？）。 サービスは3人で開発。PostgreSQLが好きなのでAurora PostgreSQLを採用。ブロックチェーン特有（
re:Invent 2018 で発表されたAWS App Meshの仕組みを解説します | Recruit Tech Blog
この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2018 の投稿記事です。 こんにちは。re:Invent2018 帰りの大島です。 去年はEKSで大いに盛り上がったre:Inventですが、2018年はApp MeshとCloud Mapの発表がコンテナ関連で注目を集めました。本記事では新しく発表されたApp Meshがどのような仕組みなのかを実際に動かしつつ、公式ドキュメントにも掲載されていない情報も含めて紹介します。 App Meshとは AWS App MeshはAWSで利用できるマネージドサービスメッシュです。Envoy proxyを使ってコンテナ化されたマイクロサービスの可視化やトラフィックコントロールを容易に出来るようになります。 AWS App Mesh is a service mesh based on the Envo
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表 Mirantisは2019年にDocker社からDocker Enterprise製品群を取得し、エンタープライズ向けのコンテナ製品市場に参入しています。 そのMirantisは8月14日、Kubernetesの統合運用管理ツール「Lens」を買収したことを発表しました。 [News] We're beyond excited to announce that Mirantis has acquired Lens, the world’s most popular #Kubernetes IDE, to simplify app development for Amazon EKS, Google GKE, Microsoft AKS, and on-prem Clou
Terraformのversion 1.9が2024年の6月26日にGAになりました。1.9の新機能を見ていきましょう。 変数のvalidationで色々参照できるようになった 変数にはvalidationを実装することができます。例えば以下のようなものです。 variable "aws_account_id" { type = string description = "AWS Account ID" validation { condition = can(regex("^[0-9]{12}$", var.aws_account_id)) error_message = "Invalid AWS accountID." } } これはAWSアカウントIDが格納されるのを想定した変数です。AWSアカウントIDは必ず12桁の数字ですので、そうでない場合はエラーにしています。 上記例では c
知っておきたいITスキルが動画でサクッと学習できる「Udemy」ブラックフライデーセール、新たな講座もセールにあわせて続々登場中【1200円～】
ITの分野ではある程度の技術力を身につければ比較的待遇の良い求人が多かったり、自分でビジネスチャンスをものにできたりすると言われており、近年では自力でIT技術を身につける人が増加しています。そんな人に役立つのがオンライン学習プラットフォーム「Udemy」で、ちょうど年末商戦の幕開けとなるブラックフライデーセールが開催されており、多くの講座が1200円～という非常にコスパの良い価格になっているほか、さまざまなトピックの新講座が続々と公開中とのこと。そこで、2021年に向けて身につけておきたい、役に立ちそうな分野をサクッと確認できる講座を6つほどGIGAZINE編集部でピックアップしてみました。 オンラインコース -世界最大級のオンライン学習プラットフォーム- Udemy https://www.udemy.com/ ・目次 ◆1：ウェブアプリからスマホアプリまで何を作るにも役立つ「JavaS
Amazon Elastic Container Service for Kubernetes (EKS)の所感 - Qiita
ついにAWSのマネージドKubernetesサービス「EKS」が発表されましたね！ この記事では、これまでKubernetes on AWSに取り組んできた @mumoshu の観点でEKSについてまとめてみたいと思います。 @mumoshuって誰？ Kubernetes Incubatorのひとつ、kube-awsというKubernetesクラスタのプロビジョニングツールのメンテナです。 Kubernetes on AWSのつらみ これまでKubernetesをAWSで運用する場合の最も大きなつらみ（と思われていた）は、Kubernetesを自前でAWSにデプロイすることでした。 例えば、AzureやGCPにはそれぞれAKSやGKEといったKubernetesのマネージドサービスがあります。 AKSやGKEは「クラスタを作成する」という操作をすればKubernetesが使い始められたり、
Rails+PostgreSQL+Apartmentでたった1行の変更がレスポンスタイムを3倍速にした話 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
Amazon Web Services ブログ VPC ネットワーク内での長時間稼働 TCP 接続の実装 本投稿は Implementing long-running TCP Connections within VPC networking (記事公開日: 2022 年 11 月 28 日) を翻訳したものです。 多くのネットワークアプライアンスは、アイドル接続タイムアウトを定義して、非アクティブ期間が経過すると接続を終了します。たとえば、NAT Gateway、 Amazon Virtual Private Cloud (Amazon VPC) エンドポイント、Network Load Balancer (NLB) などのアプライアンスのアイドルタイムアウトは、現在 350 秒に固定されています。アイドルタイムアウトの期限が切れた後に送信されたパケットは、ターゲットに配信されません。
コンテナイメージのlazy pullingをcurlで試してみる - knqyf263's blog
はじめに 参考 Stargz 概要 詳細 HTTP Range 互換性 Stargzまとめ eStargz 概要 最適化 TOC, TOCEntry Footer Stargz Snapshotter eStargzまとめ 実験 トークン取得 インデックス取得 マニフェスト取得 Footer取得 TOC取得 ファイル取得 実験まとめ 余談 応用例 自作ライブラリ 計測 まとめ はじめに コンテナイメージのlazy pullingが各ツールで利用可能になりつつあるようです。以下は stargz-snapshotter のメンテナである @TokunagaKohei さんによるブログです。 medium.com lazy pullingが何かを簡単に説明しておくと、コンテナイメージ全体を最初にpullせずにコンテナ実行後に必要なファイルのみを遅延でpullするものです。docker runしよ
mirage-ecsで各メンバー専用開発サーバーを実現！まちのコインの運用事例を紹介します - KAYAC engineers' blog
SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか？ 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e
CDK for Terraform on AWS 一般提供 (GA) のお知らせ | Amazon Web Services
Amazon Web Services ブログ CDK for Terraform on AWS 一般提供 (GA) のお知らせ この記事は”Announcing CDK for Terraform on AWS”を翻訳したものです。 2 年前、 HashiCorp 社と AWS CDK チームが Cloud Development Kit for Terraform (CDKTF) の共同開発を開始しました。 CDKTF はオープンソース (Mozilla 2.0) として提供され、 Terraform を利用したクラウドインフラの構築をより開発者フレンドリーなものとするツールとなっています。ここ 2 年間で多くの企業が、クラウド開発を簡素化し、開発者が好みのプログラミング言語でインフラストラクチャを定義およびプロビジョニングを実現するワークフローツールの AWS CDK や CDK f
zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する | Amazon Web Services
Amazon Web Services ブログ zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する この記事は Reducing AWS Fargate Startup Times with zstd Compressed Container Images (記事公開日 : 2022 年 10 月 13 日) の翻訳です。 AWS Fargate は、Amazon Elastic Container Service (Amazon ECS) および Amazon Elastic Kubernetes Service (Amazon EKS) 上で動作するコンテナワークロードのためのサーバーレスコンピューティングエンジンです。コンテナオーケストレーターがコンテナワークロードをスケジューリングすると、AWS Fargate はそのワークロードを実行するた
AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 | Amazon Web Services
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
AWS Service Operator for Kubernetes Now Available 🚀 | AWS Open Source Blog
AWS Open Source Blog AWS Service Operator for Kubernetes Now Available ? NOTE: In mid-2019 we re-launched and intensified our efforts, deprecating and archiving the old code base of the AWS Service Operator and changing to a community-driven approach. We’re currently in the design phase and invite you to comment on the design issues and become a contributor to the new project, see details at the n
“スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 | Amazon Web Services
Amazon Web Services ブログ “スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。もう今年も残すところあと僅か、いかがお過ごしでしょうか？私は年初に立てたプライベートの目標が全然達成できておらず焦る毎日で、あと1週間で少しでも挽回できるように頑張っていかねば！と考えています。 本日は、先日 12/24 に新たに公開したスケーラブルウェブサイト構築編ハンズオンの紹介を中心に、AWS Hands-on for Beginners のアップデート情報をお届けします。「年末年始で何かプロダクト開発をしたい！」「冬休みに何か新しい技術を学びたい！」という方のお役に立てれば嬉しいです。 AWS Hands-
DMMのデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 (CUS-40) #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画「CUS-40: AWS移行事例紹介 ~DMM のデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 ~」のレポート記事です。 概要 "50以上の事業を展開するDMM。年々増えるデータ、バッチ、業務。そんな状況をAWS上での基盤構築を通じて打開した事例紹介" 50以上のビジネスを展開するDMM.comでのデータ活用基盤（データレイク基盤と機械学習基盤）をAWS上に構築した事例を紹介します。 データレイク基盤はオンプレ上で動いていた3000以上のJobの完全移行を実施し、よりスケーラブルな分析、データ処理、Single Source of Truth (SSoT)を実現しています。 機械学習基盤はArgoなどエコシステムが豊富なAmazon EKS Kubernetesを採用し、機械学習モデルの継続的なデプロイを行う
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
こんにちは。freee PSIRTでマネージャーをやっています、ただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2023 24日目です。昨日は最近freeeにグループジョインしたBundleのkouheiさんによる「Bundleの3年間をライブラリで振り返る」でした。 さて、「freeeでは新卒研修でHardeningをやってるらしい」という話は界隈ではちょっとは知られているものの、その内幕が伺えるのは、まだPSIRTがCSIRTから独立する前の2018年の記事しかありませんでした。 developers.freee.co.jp あれから5年。最近のHardening研修はどうなっているのか、アップデートしようというのが今回の記事になります。 Hardening 2023！ 細かい話はあとまわしにして、さっそく今年行われたHarde
「今すぐコンテナを使い始めたい人のためのAmazon ECSとAWS Copilot」というタイトルで登壇しました #AKIBAAWS | DevelopersIO
コンサル部のとばち（@toda_kk）です。 先日、弊社主催のオンラインイベント AKIBA.AWS ONLINE #2 にて、コンテナ初心者向けにAmazon ECSとAWS Copilotについて登壇しました。発表資料や、登壇内容を決めた経緯などを共有します。 動画 発表資料 サンプルコード 発表にあたって、実際にAWS Copilotを使い始められるようにサンプルコードを用意しました。ぜひご活用ください。 わかりづらいところや、もっとこうしてほしいといったご要望があればフィードバックいただけると嬉しいです！ 発表内容を決めた経緯 インフラエンジニアからみたコンテナ利用 私は、普段のコンサルティング業務ではECSやEKSといったコンテナ関連のサービスについて担当することが多いです。そのため、ありがたいことに社内のチームメンバーからコンテナについてしばしば相談を受けることがあります。 そ
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中のイベント「AWS re:Invent 2020」で、監視ツールの「Prometheus」をマネージドサービスとして提供する「Amazon Managed Service for Prometheus」と、監視などで収集したデータをダッシュボードなどにより可視化する「Grafana」をマネージドサービスとして提供する「Amazon Managed Service for Grafana」の提供を発表しました。 クラウドネイティブなアプリケーションにおいては、アプリケーションの状態をつねに把握し迅速に対応する必要性が高まることから、アプリケーションの「可観測性」へ
はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題と、チームがどうやってその課題を解決してきたか*1について紹介します。 基盤の構成 各種データソースからログを収集し BigQuery に投入する部分が本記事のスコープとなります。 過去の基盤は Amazon EKS 上で Digdag+Embulk を使用していました。 現在の基盤は Amazon ECS 上で Luigi を使用しています。 過去のデータ基盤 新しいデータ基盤 *2 課題 データの量 過去のデータ基盤には処理データ量に比例して処理
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー こんにちは！アマゾン ウェブ サービス ジャパン合同会社 コンテナサービス事業開発担当の勝間田です。 2022 年 8 月 4 日(木)に Amazon Elastic Kubernetes Service (EKS) の使用事例を中心とした「夏の AWS Kubernetes 祭り！〜Kubernetes の運用最前線を紹介〜」イベントをオンライン開催いたしました。 当日は 500 名強のお客様にご参加いただき、株式会社ZOZO様、Chatwork株式会社様、株式会社サイバーエージェント様、freee株式会社様、スマートニュース株式会社様、株式会社マネーフォワード様の 6 社のお客様に登壇いただきました。実際に Kubernetes
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
Fargate利用費最大52%オフの衝撃！Savings PlansによるFargateの利用費削減を検討する ｜ Developers.IO
「Fargate便利だけど、RIとかスポットインスタンスとか使えないよなぁ」 ホストインスタンスを一切気にせずコンテナワークロードを扱えるAWS Fargate。サービス開始当初は、EC2の料金のほぼ1.5倍ぐらいしていたのが、2019年1月に35%〜50%値下げされ、料金面で使いやすくなっていました。 これでも十分に扱いやすくなっていたのですが、昨日のアップデートにより新たにSavings Plansという超ド級の料金体系が突如発表されました。 Introducing Savings Plans これにより、Fargateにおいても事前に利用費をコミットすることで、オンデマンド価格より最大52%割安価格で利用することが可能になっています！ Fargate新料金プランきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / Savings Plansの概要 I
久々の「突撃！隣のDevOps」の記事です。今回はリブセンスの「転職会議」を開発している部署にDevOpsに対する取り組みや考え方、組織文化についてインタビューしてきました。 今までのシリーズとは異なりリブセンスに伺わずにリモートでのインタビューでした。 なので突撃もしておらず、会社の位置関係的にもそこまで隣じゃないDevOpsです。 リブセンスについて まずはリブセンスがどのような会社でどのような業務を行っているか、インタビューの担当者様について紹介してきます。 サービス内容 人材領域・不動産領域といった、人生の大きな意思決定が必要になる場面での情報の非対称性を課題ととらえ、それを解決するようなサービスを運営しています。口コミによる企業情報の透明化・マッチング精度向上に挑む「転職会議」、エンジニアの競争入札型転職メディア「転職ドラフト」、成功報酬型でより多くの求人案件から適職を提案する「
EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、Argo CDと拡張ツールArgo CD Image Updaterを導入した開発環境のCDリアーキテクトを行いました。本記事では、開発環境のCI/CDリアーキテクト設計とArgo CD Image Updaterの導入手順について紹介します。 目次 はじめに 目次 Argo CDとArgo CD Image Updaterについて Argo CD Image Updater導入前の課題 Argo CD Image Updater導入による開発環境CI/CD設計 導入手順 Argo CD Image UpdaterのECR操作権限設定 IAMRoleの作成とPodへのアタッチ PodのECR認
kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog
はてなで働くエンジニアにアンケートシリーズ第20回は、サービスプラットフォームチームのSRE、id:masayosuに話を聞きました。 社内に「まさよし」が複数いて紛らわしい SREメンバーでEKSとGKEの2つをキャッチアップ 自分の中にkubernetesの知識が蓄積されていった ここまでオープンな会社はこれまで経験したことがなかった 社内に「まさよし」が複数いて紛らわしい ── Q1. はてなidとその由来を教えてください TwitterのIDが@masayosuなので、はてなidもTwitterと同じ文字列を利用しています。由来は本名が「まさよし」なので。 はてな社内には「まさよし」という名前やはてなidを持つ人が3〜4人くらい存在しているので、紛らわしい状態になっています。 ── Q2. いつどんなきっかけで入社しましたか？ 2020年7月に、id:hayajo_77さんの紹介で
![kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/aebd9f036ff4f257bad5c8f9e02c8a062e54d129/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20220608%2F20220608112301.jpg)
はじめに 株式会社クリエイスCTOの志村です。 前回の続きです。 この記事に最初に行き着いた方は前回の記事を見ていただき、環境を作るところから始めてください。 Docker環境でPyTorch 〜画像解析〜 #01 環境構築編 volumesに- ./data:/workspace/dataを追記しました 今回も上田先生 に解説してもらいます。 社員の曽宮、モトキが四苦八苦しながらまとめているこちらの記事もよろしかったらどうぞ Anaconda環境でPyTorch 〜株価予想〜 #03 予測編 この記事でやること 事前調教済みモデルのResNet18を使って転移学習を行います。 この記事でやらないこと Dockerfileを使って公式Imageを元にカスタムImageを作りません AWSのECS, EKSには対応いたしません コピペしやすい様にコードブロックの頭のユーザーマーク($, %,
第1回～第4回で、Amazon Web Services（AWS）が提供するマネージドKubernetesサービス「Amazon Elastic Kubernetes Service（EKS）」を用いた「Kubernetes」環境の構築や、Kubernetesを利用したアプリケーションの公開までを解説しました。この2つの能力があれば、ITサービスを通じてユーザーに価値を提供することができます。パン屋さんで例えるとパン（アプリケーション）を店頭で並べられるようになった（公開）といったところでしょうか。 パンを焼いて店頭に並べる一連の作業は、もちろん1回で終わるものではなく、毎日繰り返すものです。毎日繰り返すには、パンを焼くための道具や機械に不具合がないように定期的に点検して、機械が不調になったときはすぐに修理したり、一時的に代用できるものをあらかじめ準備しておいたりするなどの対策が必要です。
今こそ振り返るEKSの基礎
皆さん、EKS始めるときeksctl使ってますか？コマンド一発でAWS関連リソースやインフラ一式できあがる超便利ツールですが、逆に個別のAWSリソースがどのように作成されているか、クラスターに紐づくVPCやNodeにはどのような制約があるのか、IAM周辺がどのように処理されているのか、そのあたり隠蔽されて分かりづらい部分あるんじゃないでしょうか。 このセッションでは、改めてEKS周辺のAWSリソースがどのように関連して動作しているのかを振り返りつつ、今日のEKS祭りのためのベース知識を皆さんと共有できればと思います。
広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
Amazon Web Services ブログ Amazon EKS での Kubernetes アップグレードの計画 この記事は Planning Kubernetes Upgrades with Amazon EKS (記事公開日: 2021 年 5 月 3 日) を翻訳したものです。 2021 年 2 月、Amazon Elastic Kubernetes Service (Amazon EKS) は Kubernetes バージョン 1.19 のサポートを開始しました。これは、What’s New の投稿や Amazon EKS ドキュメントの更新など、通常のメカニズムを通じて発表されました。社内やお客様とのいくつかの会話の結果、AWS は Amazon EKS の Kubernetes バージョンリリースに合わせて、AWS Containers ブログ記事の投稿を行うことにしまし
タスク数100超え！モノレポとエスプレスタックで支えるECS管理の仕組み（ecspresso/ecschedule） - ウェルスナビ開発者ブログ
ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では、増え続けるECS定義をモノレポとエスプレスタック（ecspresso/ecschedule）で管理した事例を紹介します。 ECSの運用で発生した悩み ECSを利用する開発者やアプリケーション数が増え
はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraform 1.9 の新機能紹介 | DevelopersIO
VPC ネットワーク内での長時間稼働 TCP 接続の実装 | Amazon Web Services
新人研修でHardening! 2023 - freee Developers Hub
ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
突撃！隣のDevOps 【リブセンス編】 | DevelopersIO
Docker環境でPyTorch 〜画像解析〜 #03 転移学習編 - Qiita
死活監視、ロギング、メトリクス――Kubernetesと監視の話
オンラインサービスをECS on Spot Instanceで構築＆運用した - Gunosy Tech Blog
Amazon EKS での Kubernetes アップグレードの計画 | Amazon Web Services
Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog