tl;dr 2020年1年間のはてなブックマークの人気エントリー3万件をもとに技術トレンドを分析。 その結論とPythonでグラフ化した手順を書き記します。 ※ご指摘がありましたが、技術トレンドというよりitニューストレンドと言った方が正しいかもしれません。踏まえてお読みください。 前置き 手元に2020年の1年間ではてなブックマークの技術カテゴリーにおいて人気エントリーに一度でも乗ったことのある記事のタイトルデータが3万件ほどあったため、形態素解析を行い単語の出現頻度順に並べてみました。欠損の割合としては多くても1割程度、つまり少なくとも9割程度のデータは揃っているはずなので精度はかなり高いと思います。 （※はてなブックマークはNewsPicksみたくインターネット上の記事をブックマーク・コメントでき、より多くブックマークされた記事が人気エントリーとしてピックアップされるサービスです。w
TL;DR eksctlを使うときはライフサイクルを意識しましょう VPC周り クラスタやIAM（ALB） アプリケーション（ALB） eksctlとは eksctlはWeaveworksとAWSが共同で開発を進めているEKSを管理するための公式ツールである。 リポジトリ github.com ドキュメント eksctl.io ここでは詳しく解説しないが、とても便利でコマンド一発でなんとなくK8sクラスタが立ち上がる。 また、公式ツールであるがゆえにEKSのアップデートに対する追従も早く、EKSのほとんどの機能に対応している。 EKSを触ったことがある人なら一度は触ったことはあると思うし、聞いたことはあると思う。 eksctlは難しいという話（前置き） eksctlでは config.yaml というファイルでEKSに必要な設定を管理することができる。 ざっとあげつらねるだけでこのくらいは
EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog
こんにちは、モノタロウの SRE グループ・コンテナ化推進チームの田中です。 現在、私たちはシステムモダナイゼーションのプロジェクトの一環として、200以上のエンドポイントを持つモノリスのバックエンド API を EC2 上から Kubernetes マネージドサービスの EKS（Elastic Kubernetes Service）に移行しています。ノードは Fargate を使用し、監視には Datadog と Sentry を導入しています。 今回、EC2 に流れているリクエストを全て EKS に振り分けを行おうとしておりました。その際に外部（DB、 サービス）への疎通ができないといった内容の Sentry のエラーが大量に発生し、切り戻しをせざるを得ない状況に陥ったのです。エラー内容を詳しくみたところ名前解決に関するものであり、今回私たちは CoreDNS の設定を行うことで解決し
この記事は Gunosy Advent Calendar 2019 の18日目の記事です。 前回の記事は@mageyuki さんの ワークフロー基盤としてのEKSクラスター運用のポイントとEKS on Fargate検証 - Gunosy Tech Blog です。 はじめに どうやって作るか インセプションデッキ フェーズ分け 工数見積 どこまで作り込むか 仮説を検証できるか？ 障害、セキュリティに耐えうるか 技術的挑戦 まとめ はじめに こんにちは。広告技術部でエンジニアをやっている @mocyuto です。 最近は荷物運び*1 と丸い輪っかの筋トレ*2を交互と行っています。 今回はGunosyのように自社で新しいサービスを作る上で考えて実践していることを共有したいと思います。 特にエンジニアサイドとしてどのような視点で考えているのかを以下の軸で話そうと思います。 どうやって作るか ど
こんにちは、広告技術部のyamaYuです。 最近は『SPY×FAMILY』にハマっています。 めちゃめちゃ面白いです。 それとヨルさんの声優さんが好きです。 さて、先日 GunosyAds の管理画面をEKSに移行したのですが、Podのロールアウト時に5xxエラーが発生するという問題に当たりました。 その際にダウンタイムなしにPodをロールアウトするための設定について調べたので、この記事ではそのことについてまとめようと思います。 前提 問題: Podのロールアウト時に5xxエラーが発生する 解決策 (1) Pod削除時の5xx (2) Pod作成時の5xx まとめ 前提 まず前提の共有のために今回扱うシステムであるGunosyAdsの管理画面の構成を簡単に説明します。 このシステムはAWS EKS上のKubernetesクラスターに展開されたサービスの一つです。 AWS Load Bala
EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイクル管理 - MonotaRO Tech Blog
こんにちは、SREグループの岡田です。 モノタロウではモノタロウのクラウドネイティブ化の取り組みについて - MonotaRO Tech Blog にも記載されているようにシステムのモダナイズに取り組んでおり、その一環でEKSのPoCそして実際にECサイトの裏側のAPIを対象にコンテナ化に取り組みました。 この記事では移行時に起こったトラブルとハマったポイントの1事例をご紹介します。 前提 起こったトラブル トラブルシュート 1. 問題の整理と仮説 2. 検証 検証1.Podのステータスがterminate状態になってから削除されるまでの時間を変えてみる。 検証2.Pod Readiness Gateを試す。 検証3. ALBのDeregistration delay（登録解除までの待機時間）を短くしてみる。 分かった事 ALBを含めたPod入れ替え時の挙動 EKSにおけるトラブルシュート
[AWS Black Belt Online Seminar] AWS コンテナサービス開始のおしらせ | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS コンテナサービス開始のおしらせ 2021年10月6日アップデート：AWS Black Belt コンテナシリーズのあるきかた 2021年10月版にて9月末までに公開した18本の一覧をご紹介しています。 2021年７月からAWS Black Belt オンラインセミナーのオンデマンドビデオ化しました。AWS コンテナサービスでも、新しくシリーズとして開始いたします。ひとつのビデオあたりのトピックを小さく絞ってお届けします。 今回 AWS コンテナサービスシリーズで公開したのは以下の４つです。視聴はYouTubeから、資料閲覧はSlideShareから可能です。 CON001 AWSコンテナサービス予告 YouTube SlideShare AWS Black Beltオンラ
![[AWS Black Belt Online Seminar] AWS コンテナサービス開始のおしらせ | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/e0869c5e54c3eeac734aa119cbacb5778a30603d/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F02%2F25%2Fcontainer-services.png)
SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、 DEVOPS WEEKLY ISSUE #487 April 26th, 2020 SRE Weekly Issue #216 April 27th, 2020 KubeWeekly #214 May 1st, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #487 April 26th, 2020 News A detailed write up from the recent Failover Conf on all things chaos engineering. Lots of notes and links to related content. A good post for any software d
[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO
eBPF ってご存じでしょうか！（挨拶 eBPF はざっくりいうと、アプリケーションを含む Linux OS 内の動作を横から観測できる仕組みで、近年注目されることも多くなった技術です。最近 (?) Windows がサポートを開始したことも、記憶に新しいかたもいらっしゃるかと。 その仕組み上、セキュリティや開発（デバッギング）目的に使われることも多いですが、可観測性 (オブザーバビリティ) 目的としてみても非常に強力なものです。 本セッションはその可観測性プラットフォーム製品である New Relic が eBPF とどう関係しているか、 24 分ほどのスリムなセッションで、デモを交えてがっつり説明して頂けました。 なお、クラスメソッドがお送りする DevelopersIO 2022 イベントの全セッションはこちらから参照可能です： 以下、簡単にレポートします。 動画 (24 分) Yo
![[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25984aafb6b7072ac6be07cc99b912fd69769beb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F07%2F202207-report-ebpf-newrelic-devio22_eyecatch.png)
複数チームが開発するモノリシックなサービスにおける、Rubyのバージョンアッププロジェクトの進め方とこのプロジェクトから学んだこと - ANDPAD Tech Blog
こんにちは、アンドパッドSWEの あかりです。 今年もやってきました、花粉症の季節ですね😇 去年、「来年こそはこの時期だけ沖縄に避難する！」と固く誓っていたですが、子供が産まれてそんなことが言ってられなくなリました。嬉しい悲鳴です。 ですので、家に引きこもることにした、その成果がこちらの記事になります！ 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスのRubyを2.7から3.0にバージョンアップしました。この記事では、バージョンアッププロジェクトの進め方と今回のプロジェクトを通して学んだことを説明します。 2. Rubyバージョンアッププロジェクトの始動 複数のチームが開発を行うモノリスでは、Ruby・Rails・各種gemやライブラリのアップデートを誰が責務を持って行うのか、宙に浮きがちな問題です。施工管理サービスも歴史が長く、複数のチームが開発を行うモノリシ
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表 Mirantisは2019年にDocker社からDocker Enterprise製品群を取得し、エンタープライズ向けのコンテナ製品市場に参入しています。 そのMirantisは8月14日、Kubernetesの統合運用管理ツール「Lens」を買収したことを発表しました。 [News] We're beyond excited to announce that Mirantis has acquired Lens, the world’s most popular #Kubernetes IDE, to simplify app development for Amazon EKS, Google GKE, Microsoft AKS, and on-prem Clou
Terraformのversion 1.9が2024年の6月26日にGAになりました。1.9の新機能を見ていきましょう。 変数のvalidationで色々参照できるようになった 変数にはvalidationを実装することができます。例えば以下のようなものです。 variable "aws_account_id" { type = string description = "AWS Account ID" validation { condition = can(regex("^[0-9]{12}$", var.aws_account_id)) error_message = "Invalid AWS accountID." } } これはAWSアカウントIDが格納されるのを想定した変数です。AWSアカウントIDは必ず12桁の数字ですので、そうでない場合はエラーにしています。 上記例では c
知っておきたいITスキルが動画でサクッと学習できる「Udemy」ブラックフライデーセール、新たな講座もセールにあわせて続々登場中【1200円～】
ITの分野ではある程度の技術力を身につければ比較的待遇の良い求人が多かったり、自分でビジネスチャンスをものにできたりすると言われており、近年では自力でIT技術を身につける人が増加しています。そんな人に役立つのがオンライン学習プラットフォーム「Udemy」で、ちょうど年末商戦の幕開けとなるブラックフライデーセールが開催されており、多くの講座が1200円～という非常にコスパの良い価格になっているほか、さまざまなトピックの新講座が続々と公開中とのこと。そこで、2021年に向けて身につけておきたい、役に立ちそうな分野をサクッと確認できる講座を6つほどGIGAZINE編集部でピックアップしてみました。 オンラインコース -世界最大級のオンライン学習プラットフォーム- Udemy https://www.udemy.com/ ・目次 ◆1：ウェブアプリからスマホアプリまで何を作るにも役立つ「JavaS
Rails+PostgreSQL+Apartmentでたった1行の変更がレスポンスタイムを3倍速にした話 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
Amazon Web Services ブログ VPC ネットワーク内での長時間稼働 TCP 接続の実装 本投稿は Implementing long-running TCP Connections within VPC networking (記事公開日: 2022 年 11 月 28 日) を翻訳したものです。 多くのネットワークアプライアンスは、アイドル接続タイムアウトを定義して、非アクティブ期間が経過すると接続を終了します。たとえば、NAT Gateway、 Amazon Virtual Private Cloud (Amazon VPC) エンドポイント、Network Load Balancer (NLB) などのアプライアンスのアイドルタイムアウトは、現在 350 秒に固定されています。アイドルタイムアウトの期限が切れた後に送信されたパケットは、ターゲットに配信されません。
mirage-ecsで各メンバー専用開発サーバーを実現！まちのコインの運用事例を紹介します - KAYAC engineers' blog
SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか？ 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e
CDK for Terraform on AWS 一般提供 (GA) のお知らせ | Amazon Web Services
Amazon Web Services ブログ CDK for Terraform on AWS 一般提供 (GA) のお知らせ この記事は”Announcing CDK for Terraform on AWS”を翻訳したものです。 2 年前、 HashiCorp 社と AWS CDK チームが Cloud Development Kit for Terraform (CDKTF) の共同開発を開始しました。 CDKTF はオープンソース (Mozilla 2.0) として提供され、 Terraform を利用したクラウドインフラの構築をより開発者フレンドリーなものとするツールとなっています。ここ 2 年間で多くの企業が、クラウド開発を簡素化し、開発者が好みのプログラミング言語でインフラストラクチャを定義およびプロビジョニングを実現するワークフローツールの AWS CDK や CDK f
zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する | Amazon Web Services
Amazon Web Services ブログ zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する この記事は Reducing AWS Fargate Startup Times with zstd Compressed Container Images (記事公開日 : 2022 年 10 月 13 日) の翻訳です。 AWS Fargate は、Amazon Elastic Container Service (Amazon ECS) および Amazon Elastic Kubernetes Service (Amazon EKS) 上で動作するコンテナワークロードのためのサーバーレスコンピューティングエンジンです。コンテナオーケストレーターがコンテナワークロードをスケジューリングすると、AWS Fargate はそのワークロードを実行するた
AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 | Amazon Web Services
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
“スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 | Amazon Web Services
Amazon Web Services ブログ “スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。もう今年も残すところあと僅か、いかがお過ごしでしょうか？私は年初に立てたプライベートの目標が全然達成できておらず焦る毎日で、あと1週間で少しでも挽回できるように頑張っていかねば！と考えています。 本日は、先日 12/24 に新たに公開したスケーラブルウェブサイト構築編ハンズオンの紹介を中心に、AWS Hands-on for Beginners のアップデート情報をお届けします。「年末年始で何かプロダクト開発をしたい！」「冬休みに何か新しい技術を学びたい！」という方のお役に立てれば嬉しいです。 AWS Hands-
DMMのデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 (CUS-40) #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画「CUS-40: AWS移行事例紹介 ~DMM のデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 ~」のレポート記事です。 概要 "50以上の事業を展開するDMM。年々増えるデータ、バッチ、業務。そんな状況をAWS上での基盤構築を通じて打開した事例紹介" 50以上のビジネスを展開するDMM.comでのデータ活用基盤（データレイク基盤と機械学習基盤）をAWS上に構築した事例を紹介します。 データレイク基盤はオンプレ上で動いていた3000以上のJobの完全移行を実施し、よりスケーラブルな分析、データ処理、Single Source of Truth (SSoT)を実現しています。 機械学習基盤はArgoなどエコシステムが豊富なAmazon EKS Kubernetesを採用し、機械学習モデルの継続的なデプロイを行う
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
こんにちは。freee PSIRTでマネージャーをやっています、ただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2023 24日目です。昨日は最近freeeにグループジョインしたBundleのkouheiさんによる「Bundleの3年間をライブラリで振り返る」でした。 さて、「freeeでは新卒研修でHardeningをやってるらしい」という話は界隈ではちょっとは知られているものの、その内幕が伺えるのは、まだPSIRTがCSIRTから独立する前の2018年の記事しかありませんでした。 developers.freee.co.jp あれから5年。最近のHardening研修はどうなっているのか、アップデートしようというのが今回の記事になります。 Hardening 2023！ 細かい話はあとまわしにして、さっそく今年行われたHarde
「今すぐコンテナを使い始めたい人のためのAmazon ECSとAWS Copilot」というタイトルで登壇しました #AKIBAAWS | DevelopersIO
コンサル部のとばち（@toda_kk）です。 先日、弊社主催のオンラインイベント AKIBA.AWS ONLINE #2 にて、コンテナ初心者向けにAmazon ECSとAWS Copilotについて登壇しました。発表資料や、登壇内容を決めた経緯などを共有します。 動画 発表資料 サンプルコード 発表にあたって、実際にAWS Copilotを使い始められるようにサンプルコードを用意しました。ぜひご活用ください。 わかりづらいところや、もっとこうしてほしいといったご要望があればフィードバックいただけると嬉しいです！ 発表内容を決めた経緯 インフラエンジニアからみたコンテナ利用 私は、普段のコンサルティング業務ではECSやEKSといったコンテナ関連のサービスについて担当することが多いです。そのため、ありがたいことに社内のチームメンバーからコンテナについてしばしば相談を受けることがあります。 そ
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中のイベント「AWS re:Invent 2020」で、監視ツールの「Prometheus」をマネージドサービスとして提供する「Amazon Managed Service for Prometheus」と、監視などで収集したデータをダッシュボードなどにより可視化する「Grafana」をマネージドサービスとして提供する「Amazon Managed Service for Grafana」の提供を発表しました。 クラウドネイティブなアプリケーションにおいては、アプリケーションの状態をつねに把握し迅速に対応する必要性が高まることから、アプリケーションの「可観測性」へ
はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題と、チームがどうやってその課題を解決してきたか*1について紹介します。 基盤の構成 各種データソースからログを収集し BigQuery に投入する部分が本記事のスコープとなります。 過去の基盤は Amazon EKS 上で Digdag+Embulk を使用していました。 現在の基盤は Amazon ECS 上で Luigi を使用しています。 過去のデータ基盤 新しいデータ基盤 *2 課題 データの量 過去のデータ基盤には処理データ量に比例して処理
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー こんにちは！アマゾン ウェブ サービス ジャパン合同会社 コンテナサービス事業開発担当の勝間田です。 2022 年 8 月 4 日(木)に Amazon Elastic Kubernetes Service (EKS) の使用事例を中心とした「夏の AWS Kubernetes 祭り！〜Kubernetes の運用最前線を紹介〜」イベントをオンライン開催いたしました。 当日は 500 名強のお客様にご参加いただき、株式会社ZOZO様、Chatwork株式会社様、株式会社サイバーエージェント様、freee株式会社様、スマートニュース株式会社様、株式会社マネーフォワード様の 6 社のお客様に登壇いただきました。実際に Kubernetes
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
Fargate利用費最大52%オフの衝撃！Savings PlansによるFargateの利用費削減を検討する ｜ Developers.IO
「Fargate便利だけど、RIとかスポットインスタンスとか使えないよなぁ」 ホストインスタンスを一切気にせずコンテナワークロードを扱えるAWS Fargate。サービス開始当初は、EC2の料金のほぼ1.5倍ぐらいしていたのが、2019年1月に35%〜50%値下げされ、料金面で使いやすくなっていました。 これでも十分に扱いやすくなっていたのですが、昨日のアップデートにより新たにSavings Plansという超ド級の料金体系が突如発表されました。 Introducing Savings Plans これにより、Fargateにおいても事前に利用費をコミットすることで、オンデマンド価格より最大52%割安価格で利用することが可能になっています！ Fargate新料金プランきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / Savings Plansの概要 I
久々の「突撃！隣のDevOps」の記事です。今回はリブセンスの「転職会議」を開発している部署にDevOpsに対する取り組みや考え方、組織文化についてインタビューしてきました。 今までのシリーズとは異なりリブセンスに伺わずにリモートでのインタビューでした。 なので突撃もしておらず、会社の位置関係的にもそこまで隣じゃないDevOpsです。 リブセンスについて まずはリブセンスがどのような会社でどのような業務を行っているか、インタビューの担当者様について紹介してきます。 サービス内容 人材領域・不動産領域といった、人生の大きな意思決定が必要になる場面での情報の非対称性を課題ととらえ、それを解決するようなサービスを運営しています。口コミによる企業情報の透明化・マッチング精度向上に挑む「転職会議」、エンジニアの競争入札型転職メディア「転職ドラフト」、成功報酬型でより多くの求人案件から適職を提案する「
EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、Argo CDと拡張ツールArgo CD Image Updaterを導入した開発環境のCDリアーキテクトを行いました。本記事では、開発環境のCI/CDリアーキテクト設計とArgo CD Image Updaterの導入手順について紹介します。 目次 はじめに 目次 Argo CDとArgo CD Image Updaterについて Argo CD Image Updater導入前の課題 Argo CD Image Updater導入による開発環境CI/CD設計 導入手順 Argo CD Image UpdaterのECR操作権限設定 IAMRoleの作成とPodへのアタッチ PodのECR認
kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog
はてなで働くエンジニアにアンケートシリーズ第20回は、サービスプラットフォームチームのSRE、id:masayosuに話を聞きました。 社内に「まさよし」が複数いて紛らわしい SREメンバーでEKSとGKEの2つをキャッチアップ 自分の中にkubernetesの知識が蓄積されていった ここまでオープンな会社はこれまで経験したことがなかった 社内に「まさよし」が複数いて紛らわしい ── Q1. はてなidとその由来を教えてください TwitterのIDが@masayosuなので、はてなidもTwitterと同じ文字列を利用しています。由来は本名が「まさよし」なので。 はてな社内には「まさよし」という名前やはてなidを持つ人が3〜4人くらい存在しているので、紛らわしい状態になっています。 ── Q2. いつどんなきっかけで入社しましたか？ 2020年7月に、id:hayajo_77さんの紹介で
![kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/aebd9f036ff4f257bad5c8f9e02c8a062e54d129/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20220608%2F20220608112301.jpg)
第1回～第4回で、Amazon Web Services（AWS）が提供するマネージドKubernetesサービス「Amazon Elastic Kubernetes Service（EKS）」を用いた「Kubernetes」環境の構築や、Kubernetesを利用したアプリケーションの公開までを解説しました。この2つの能力があれば、ITサービスを通じてユーザーに価値を提供することができます。パン屋さんで例えるとパン（アプリケーション）を店頭で並べられるようになった（公開）といったところでしょうか。 パンを焼いて店頭に並べる一連の作業は、もちろん1回で終わるものではなく、毎日繰り返すものです。毎日繰り返すには、パンを焼くための道具や機械に不具合がないように定期的に点検して、機械が不調になったときはすぐに修理したり、一時的に代用できるものをあらかじめ準備しておいたりするなどの対策が必要です。
今こそ振り返るEKSの基礎
皆さん、EKS始めるときeksctl使ってますか？コマンド一発でAWS関連リソースやインフラ一式できあがる超便利ツールですが、逆に個別のAWSリソースがどのように作成されているか、クラスターに紐づくVPCやNodeにはどのような制約があるのか、IAM周辺がどのように処理されているのか、そのあたり隠蔽されて分かりづらい部分あるんじゃないでしょうか。 このセッションでは、改めてEKS周辺のAWSリソースがどのように関連して動作しているのかを振り返りつつ、今日のEKS祭りのためのベース知識を皆さんと共有できればと思います。
広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
Amazon Web Services ブログ Amazon EKS での Kubernetes アップグレードの計画 この記事は Planning Kubernetes Upgrades with Amazon EKS (記事公開日: 2021 年 5 月 3 日) を翻訳したものです。 2021 年 2 月、Amazon Elastic Kubernetes Service (Amazon EKS) は Kubernetes バージョン 1.19 のサポートを開始しました。これは、What’s New の投稿や Amazon EKS ドキュメントの更新など、通常のメカニズムを通じて発表されました。社内やお客様とのいくつかの会話の結果、AWS は Amazon EKS の Kubernetes バージョンリリースに合わせて、AWS Containers ブログ記事の投稿を行うことにしまし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク3万件にみる技術トレンド2020年まとめ - Qiita
eksctlとソフトウェアライフサイクル - Juju-62q's blog
新しくサービスを作り始める上で考え実践していること - Gunosy Tech Blog
ゼロダウンタイムでPodをロールアウトする - Gunosy Tech Blog
Terraform 1.9 の新機能紹介 | DevelopersIO
VPC ネットワーク内での長時間稼働 TCP 接続の実装 | Amazon Web Services
新人研修でHardening! 2023 - freee Developers Hub
ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
突撃！隣のDevOps 【リブセンス編】 | DevelopersIO
死活監視、ロギング、メトリクス――Kubernetesと監視の話
オンラインサービスをECS on Spot Instanceで構築＆運用した - Gunosy Tech Blog
Amazon EKS での Kubernetes アップグレードの計画 | Amazon Web Services