データ処理パイプラインの Argo Workflows 移行を検討した話 - freee Developers Hub
AirflowからArgo Workflowsへ freee の AI ラボというチームでエンジニアをしている id:nagomiso と⾔います。好きな飲み物はストロング系チューハイです。オススメはキリン・ザ・ストロングのコーラサワーと SAPPORO 99.99 のクリアレモンです。 さて, あまりイメージがないかも知れませんが実は freee の AI ラボでは機械学習やデータを活用したサービスの検討・開発だけではなく, 開発や運用を効率的に行うためのインフラ整備にも取り組んでいます。（取り組みの一部は 開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 でも紹介しています） こうしたインフラ整備の一環としてデータ処理パイプラインの Argo Workflows 移行を進めているので今回はその話をしようと思います。 動機 もともと AI
インテル、仮想通貨マイニング向けチップを年内出荷へ
Intelは米国時間2月11日、エネルギー効率が高いブロックチェーンアクセラレーターを開発していることを正式に発表した。2022年中に出荷を開始する予定だ。最初の顧客には、ビットコインマイニング企業のGriid Infrastructure、Argo Blockchain、Block（旧Square）などが含まれる。 IntelのシニアバイスプレジデントであるRaja M. Koduri氏は発表の中で、「Intelは、オープンでセキュアなブロックチェーンエコシステムに関与して促進し、この技術を責任ある持続可能な方法で前進させるのを支援する」と述べた。同氏はアクセラレーテッドコンピューティングシステム・グラフィックスグループのゼネラルマネージャーも兼任している。 顧客がスケーラブルで持続可能なシステムを求めているため、Intelは「最もエネルギー効率の高いコンピューティング技術を大規模に開発
[レポート] Amazon EKSとKubeflowを使った機械学習基盤の構築 #CON306 #reinvent | DevelopersIO
はじめに 本エントリはAWS re:Invent 2019のセッション CON306 Building machine-learning infrastructure on Amazon EKS with Kubeflowのレポートです。 このセッションの動画と資料はそれぞれ公開されています。 セッション概要 Data science, machine learning (ML), and artificial intelligence have exploded in popularity in the last few years, with companies building out dedicated ML teams. Kubeflow is the ML toolkit for Kubernetes and provides useful components resolvi
![[レポート] Amazon EKSとKubeflowを使った機械学習基盤の構築 #CON306 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
フォルシアでは複数のアプリにおいてKubernetesが用いられています。 参考:https://www.forcia.com/blog/001519.html しかしながら、デプロイ周りについてはまだまだ仕組み化がされておらず、いい感じにデプロイできる仕組みはないかと調べていると「GitOps」というワードが出てきました。 勉強がてら（結構こすられたネタだとは思うのですが）GitOpsを実際に構築してみた学習記録を記したいと思います（筆者は1ヶ月前まではKubernetes何それ状態でした）。 GitOpsとは Weave社が提唱した概念です。 https://www.weave.works/technologies/gitops/ GitOps can be summarized as these two things:An operating model for Kubernetes
PipeCDを導入してGitOps & Progressive Deliveryをしている話 | CyberAgent Developers Blog
メディア統括本部 Developer Productivity室の村松です。Developer Productivity室の中では、Bucketeerという社内基盤のフィーチャーフラグ・A/Bテストシステムの開発チームに所属しています。 この記事は、以前の社内勉強会での発表に加筆・修正して書き起こしたものです。内容は、Developer Productivity室が主体となって開発しているPipeCDを、Bucketeerチームに導入してGitOps & Progressive Deliveryをしている話です。PipeCDのアップデートを踏まえた補足説明や、今後対応しようと考えていることなどを加筆しています。 社内勉強会の発表資料: PipeCDを使用したBucketeerのGitOps-style CI/CD また、記事の最後にPipeCDチームから社外へ向けたメッセージがあります。
At Cloudflare we’re accelerating web assets in a number of different ways. Part of this is caching, by storing the response given by the origin server directly within our 151+ global data centers. This will dramatically improve the delivery of the resources as the visitor will directly get them from the data center closest to them, instead of waiting for us to fetch the request from the origin web
Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング
プラットフォームの動作デモを25:59から行っていますので、動画でご覧ください。 トレーニングワークフローのサポートでは、次のようなソフトウェア・ライブラリが使われています。 ユーザーがKubeflow pipelineを作成 ローカルまたはCircle CI経由でデプロイ チームのGCPプロジェクトからDockerイメージなどを取得 トレーニングの結果をSlackで通知 トレーニング終了後、モデルのパラメーターと精度をmlflowに格納 モデルをチームのGCPプロジェクトにプッシュ 結果が悪い場合には再トレーニング MLプラットフォームの特徴 メルカリのMLプラットフォームは次のような特徴を持っています。 プロファイルは独立し、ユーザーは自分の作業しているプロジェクトのデータのみにアクセス可能 CPU/GPU/TPUなどのリソースはオンデマンドに提供 PrometheusとGrafana
Argo RolloutsによるKubernetesでのCanary Deploy - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2020 10日目の記事です。 昨日はjohnmanjiroさんの TerraformでLaunch Templateを使ったManaged Node Groupを導入する でした。 こんにちは、広告技術部のhidappleです。普段は広告配信サーバや管理画面の開発をしています。 この記事では、以前EKSでのアプリケーションのデプロイにArgo Rolloutsを導入したので、それについて紹介したいと思います。 Argo Rolloutsとは Argo RolloutsはArgo Projectsの1プロダクトであり、KubernetesにBlue-GreenやCanary等のより高度なデプロイ機能を提供してくれるものです。類似のツールとしてはflagger等が候補に上がると思いますが、今回はサービスメッシュなどのツールを必要とせず
Kubernetes Configuration Management with CUE | Mercari Engineering
This article is a part of Developer Productivity Engineering Camp blog series, brought to you by Hideto Miki (@micnncim) from the Platform DX Team Preface The Platform Developer Experience (DX) team provides a ton of internal products for internal developers, most of whom develop microservices, to allow them to focus their business. The overview is explained in the previous article Developer Exper
こんにちは。技術ブログ運営の伊藤太斉です。 今回は、CloudNative Computing Foundation(CNCF)がホストしているOSSを取り扱った連載を全6回で行います。この記事では連載のイントロとCNCFのプロジェクトについて軽く触れます。 CNCFとはCloud Native Computing Foundationの略であり、Linux Foundationのプロジェクトの1つでもあります。代表のOSSとしては、今やコンテナオーケストレーションツールのデファクトスタンダードになっているKubernetesがあり、その辺りのOSSが数多くホストされています。指針はコンテナ技術の発展としており、現在もホストするプロジェクトが増えています。 プロジェクトについてCNCFでは大きくプロジェクトを成熟度レベル別に3つ分類しています。 Graduated 「成熟した」プロジェクト
最新モデルの「Apple Watch Series 9」が過去最安。指のダブルタップ操作が便利すぎる #Amazonセール
Argo CDは自前でユーザ管理の仕組みを持たず*1，外部のIdentity Providerに認証を移譲するという設計思想になっています．Argo CDのHelm chartにはDexがバンドルされており，様々なIdentity Providerと連携させることが可能です．本稿では，Argo CDでGitLab SSOを利用する方法を紹介します． Argo CDはOpenID Connectに対応しています．また，GitLabは自身がOpenID Connect Identity Providerになることが可能です．しかし，Argo CDが必要とする groups claimをGitLabがサポートしていないため，直接連携させることはできません．Argo CDのoidc configでGitLabを指定すると，GitLabで以下のエラーが表示されます（argo-cd#1195）． Th
※この投稿は米国時間 2020 年 3 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 ノートブックで機械学習（ML）モデルのプロトタイプを作成している最中は、かなり簡単に思えるかもしれません。ですが、ML ワークフローを持続可能かつスケーラブルにするために必要な他の部分が気になりだすと、事態は複雑になります。機械学習のワークフローには、データの準備や分析からトレーニング、評価、デプロイなどに至るまで、相互に依存するステップが多数含まれます。こうしたプロセスをアドホックな方法（一連のノートブックやスクリプト）で構成、追跡することは難しく、監査や再現性などの問題はますます対処しづらくなります。 本日、Cloud AI Platform Pipelines のベータ版がリリースされます。Cloud AI Platform Pipelines は、堅牢で再現可能
Web ログ基盤を GA4 ベースへと刷新させた全社横断プロジェクト - LIVESENSE ENGINEER BLOG
テクノロジカルマーケティング部データプラットフォームグループの池谷です。 社内の Web ログ基盤を、GA4 と BigQuery をベースとする構成に刷新したプロジェクトについてご紹介します。 なにをしたか 弊社には Livesense Analytics (以下 LA) という AWS の Redshift を DWH としたデータ基盤があります。Web ログやアプリログだけでなく、事業部が保持するマスタデータのコピーも Redshift を通して社内に提供しています。ユーザー行動の分析や施策の評価、レコメンドのデータソース等で全社的に利用されています。 LA の歴史は長く、機能によっては 10 年近く提供し続けているものもあります。その中でも Web ログを収集し加工する部分は技術的負債も多く、運用面でも苦労していました。もともと Web ログの収集ツールは内製していたのですが、この
AWS上でのOpenShift活用に第3の選択肢。「Red Hat OpenShift Service on AWS」のメリットをエキスパートが解説
[PR]Red Hatが提供するKubernetesベースのコンテナ管理プラットフォーム「OpenShift」は、従来からAWSでも利用できたが、2021年3月にはさらに連携を強めたフルマネージドサービス「Red Hat OpenShift Service on AWS (ROSA)」の提供が開始された。2021年7月14日に開催されたオンラインイベントで、ROSAのサービス仕様やアーキテクチャ、導入方法などを、AWS、Red Hatのスペシャリストが解説した。 OpenShift on AWSによって、あらゆる環境で一環したデプロイ体験を実現 アマゾン ウェブ サービス (AWS)は、サーバーやストレージ、ネットワークといったインフラだけではなく、ビッグデータ、機械学習、IoT 、モバイル、開発ツールなど多用なサービスを提供している。アマゾン ウェブ サービス ジャパン 河原 哲也 氏は
2017年に技術評論社から出版された「ビッグデータを支える技術」を増補改定し、2021年版として新たに出版されることになりました。 WEB+DB PRESS plusシリーズ ［増補改訂］ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ https://gihyo.jp/book/2021/978-4-297-11952-2 改訂の背景 本書では、筆者がトレジャーデータ株式会社に在籍していたときの経験をもとに、「ビッグデータを扱うシステムがどのように構築されているか」という基礎的な概念を解説しています。今回の改訂版では、記述が古くなってしまった部分を手直ししたのに加えて、機械学習やコンテナ技術などの話題をいくつか盛り込みました。 本書の概要については次のページにまとめられています。 本書について ―改訂にあたって もともとは旧第６章のサンプルコードを書き直すくらいのつ
Overview Overview Understand The Basics Core Concepts Getting Started Operator Manual User Guide Developer Guide FAQ Security Considerations Support Roadmap Releases ⧉ Blog ⧉ Overview¶ What Is Argo CD?¶ Argo CD is a declarative, GitOps continuous delivery tool for Kubernetes. Why Argo CD?¶ Application definitions, configurations, and environments should be declarative and version controlled. Appli
JAWS-UGコンテナ支部 #19 で転職会議でのEKS導入事例について話してきました - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 6/28に行われたJAWS-UGコンテナ支部 #19にて転職会議でのEKSの導入事例について話してきました。 jawsug-container.connpass.com JAWS-UG コンテナ支部 #19 from 理弘 山崎 この記事では、登壇時に解説した内容をスライドに書ききれなかったことも交えつつ紹介します。 EKS化以前の転職会議のECS基盤の課題 転職会議では上記のような課題を抱えていました。 いくつかはECSおよび周辺ツールの最新の機能を使うことでも解決できるのですが、転職会議ではサービス専属でコンテナに詳しいSREが複数名いたこと、またエンジニア組織として「チャレンジを尊ぶ文化」であったこともあり、EKSでの新基盤構築にチャレンジすることになりました。 EKS移行をどう進めたか EKS化にあたってはいくつかの大きな方針を決めてすすめることにしま
Argo CD Best Practices
What are some best practices when using Argo CD? Within this blog post, we’ll be highlighting some best practices tied to Argo CD, that allow you to leverage GitOps easily within your deployment workflow. Below we will explain the following: What is Argo CD What are some best practices with Argo CD? What is Argo CD Argo CD is the most popular and fastest-growing GitOps tool for Kubernetes. When fo
ついにWARPが完成（お待たせしました）
予想以上に長くかかってしましたが、本日WARPとWARP+（プラス）を皆さんにご紹介いたします。まだご存知ではない方のために、説明します。WARPはモバイルアプリで、グローバルネットワークを使って携帯電話のインターネットトラフィックにおけるすべてを保護したい人たちのためにデザインされました。 今年の4月1日にWARPを発表した後、続く数ヶ月間で順次展開し、7月までにご利用を希望されるすべての人にリリースすることを予定していました。しかし、そうはいきませんでした。消費者のモバイル接続をセキュアにする次世代のサービスを、デバイスの動作を遅くしたり、バッテリーを消耗したりすることなく構築することは...当初考えていたよりも難しかったのです。 今日までに、WARP試用の順番待ちリストには約200万人ものお名前が並んでいました。需要の多さにびっくりさせられました。また、恥ずかしさも感じました。消費者
メタマスク/MetaMaskとは？使い方や送金方法を初心者向けに解説【スマホ・PC】 | Media Argo(メディア アルゴ)
当サイトは、コンテンツポリシーに則り、金融庁に登録済みの業者のみを掲載しております。また、当サイトは、当サイトに掲載している金融商品の価値を保証したり、推奨するものではありません。なお、このページには広告が含まれることがあります。 MetaMaskは仮想通貨ウォレットで、ブラウザに拡張機能として導入したり、スマートフォンのアプリをインストールしたりすることで、いつでも仮想通貨の管理、送金、受け取りを可能にします。 MetaMaskで管理できる仮想通貨はイーサリアムや、イーサリアムのブロックチェーン上のトークンです。 イーサリアムはその優れたブロックチェーンが特徴であり、金融系や、ゲーム、NFTといったサービスに連動しています。 これからますますの普及が期待されるイーサリアムを扱うならば、MetaMaskの入手は必要不可欠といえるでしょう。
【仮想通貨】NFTゲーム(ブロックチェーンゲーム)とは？稼ぐ方法も解説 [GameFi] | Media Argo(メディア アルゴ)
当サイトは、コンテンツポリシーに則り、金融庁に登録済みの業者のみを掲載しております。また、当サイトは、当サイトに掲載している金融商品の価値を保証したり、推奨するものではありません。なお、このページには広告が含まれることがあります。 近年、ブロックチェーンを基盤につくられたNFTゲーム（ブロックチェーンゲーム）が、「遊びながら稼げるゲーム（GameFi、Play to Earn）」として徐々に注目を集めるようになっています。 と言っても、まだコンシューマーゲームやスマホゲームと比べるとはるかにマイナーなので、名前は知っているけれど内容や仕組みまではよく知らないという方も多くおられることでしょう。 そこで今回はNFTゲームについて、その特徴や稼ぐ仕組み、NFTゲームが抱える課題や今後の見通しなどを解説していきます。
先日ArgoCDを利用してみましたが、今回は同じArgo Projectの中からArgo Rolloutsを試してみました。Argo Rolloutsを利用することで、より高度なデプロイ・リリースを実現することができます。 リリース方式の違いと特徴について Argo Rolloutsを利用する前に、Kubernetes上で利用することの多いデリバリー/リリース方式について整理しておきます。なお、記載に当たり、以下のドキュメントを参照いたしました。 ※参考ドキュメント： 書籍 - 継続的デリバリー ~信頼できるソフトウエアリリースのためのビルド・テスト・デプロイメントの自動化~ Search ITOperations - When to use canary vs.blue/green vs. rolling deployment RedHat Openshift Doc - Advance
[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化（ビジネス・インテリジェンス・ツールでのレポート作成など）するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
![[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b3b596d5f14f08f5d17d2a8dc9e2fa0dc0823d5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Fdata-engineering-study-23_1200x630.jpeg)
Just tell me which one to useYou should probably use: Apache Airflow if you want the most full-featured, mature tool and you can dedicate time to learning how it works, setting it up, and maintaining it.Luigi if you need something with an easier learning curve than Airflow. It has fewer features, but it’s easier to get off the ground.Prefect if you want something that’s very familiar to Python pro
AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 この記事は “Define and run Machine Learning pipelines on Step Functions using Python, Workflow Studio, or States Language” を翻訳したものです。 機械学習(ML)のパイプラインや有向非巡回グラフ(DAG)を定義して実行する際には、様々なツールが利用可能です。一般的な選択肢としては、 AWS Step Functions、Apache Airflow、KubeFlow Pipelines(KFP)、TensorFlow Extended(TFX)、Argo、Luigi、Amazon SageMaker Pipelines などがあり
開発フロー全体の属人化に対するソリューション 金昌熙氏（以下、金）：ここまでみなさんの話を聞いてみましたが、プラットフォーム開発って、デベロッパー、ビジネスやインターナルの開発者向けということもあって、やはり思った以上に大変さもあると思います。 そこで、みなさんに今の仕事の大変だった経験とか、逆にそこから得た知見とか得られたものについてちょっと聞いてみたいと思います。まず佐藤さん、記憶に残る大変だったエピソードはありますか？ 佐藤信吾氏（以下、佐藤）：僕は2020年に入社して、そこからLIFF（LINE Front-end Framework）に携わっています。いろいろなフェーズでいろいろな状況があって、仕方ない部分もあったりするとは思いますが、プロダクト全体というか、SDKの開発フロー全体に属人的なところがけっこう多かったり。 先ほど言った、セマンティックバージョニングを尊重したリリース
App of apps patternとは Argo CDで複数のapplicationをインストール(デプロイ)したい場合に用いられるパターン（構成）です。 他のapplicationを内包するapplicationを作成する構成です。 何が嬉しいの? Argo CD周りでよくこのApp of apps patternが言及されている印象があるのですが、私はいまいちこの構成のメリットがわかりませんでした。「一個ずつ別々にapplication作ったらええやん」と。というわけでこのApp of apps patternのメリットについて調べてみました。 複数アプリをまとめてインストールできる Argo CD公式ドキュメントでは、以下のような文脈でApp of apps patternを紹介しています。 This guide is for operators who have already
Argo Rollouts - Kubernetes Progressive Delivery Controller
Overview Overview Installation Concepts Architecture Getting Started Dashboard Rollout Traffic Management Analysis Experiments Notifications Kubectl Plugin Best Practices Migrating FAQ Security Roadmap/Release Schedule Contributing Releases ⧉ Roadmap ⧉ Blog ⧉ Argo Rollouts - Kubernetes Progressive Delivery Controller¶ What is Argo Rollouts?¶ Argo Rollouts is a Kubernetes controller and set of CRDs
最新モデルの「Apple Watch Series 9」が過去最安。指のダブルタップ操作が便利すぎる #Amazonセール
iCloud Private Relay: information for Cloudflare customers
iCloud Private Relay: information for Cloudflare customers03/02/2022 This post is also available in Español. iCloud Private Relay is a new Internet privacy service from Apple that allows users with iOS 15, iPadOS 15, or macOS Monterey on their devices and an iCloud+ subscription, to connect to the Internet and browse with Safari in a more secure and private way. Cloudflare is proud to work with Ap
「リリース時にサービス一時停止」は過去の話――Argo Rolloutsによる今どきなノンストップ「デプロイ戦略」
Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する本連載「Cloud Nativeチートシート」。今回から「Argo Rollouts」に触れ、数回に分けて、概要の理解からハンズオンを交えた使い方のイメージまでを紹介します。今回は第1弾として、Argo Rolloutsの概要とサポートされる「デプロイ戦略」についてです。 ダウンタイムは“ゼロ”が当たり前の今、「デプロイ戦略」を立てていますか？ 近年、クラウド技術によって著しくアプリケーションの性能が向上しました。これに伴い、トラフィックも増加し、少しのダウンタイムでも大きなビジネス機会を失い、莫大（ばくだい）な損失が発生するようになってきています。 このような背景の下、アプリケーションのバージョンアップリリース時にダウンタイムを最小限にする工夫が進化しています。 アプリケーションを停止
Kubernetes Advent Calendar 2021 20日目 notifications-engine で作る通知機能
Kubernetes Advent Calendar 2021 20日目 notifications-engine で作る通知機能 こちらは Kubernetes Advent Calendar 2021 の 20 日目の記事となります。 今回は KubeCon 2021 NA でも発表された notifications-engine というものを紹介しようと思います。 notifications-engine とは notifications-engine は Argo Project の一つで、それぞれの Argo Family のプロジェクトで常々カスタマイズ可能な通知機能が欲しいと言われていましたが、コアメンバ的にはそれぞれのプロジェクトの軽量性や責務を損なってしまうということで頭を悩ませていたようです。 最終的には通知のためのコードを共通ライブラリに切り出し、各プロジェクトで固有
IaaSのVM屋さんの保守開発 佐野成氏：ここまででインフラのIaaS、VM屋さんの話をしてきましたが、「実際開発ってなにしてんの？」という話をもう少し話そうと思います。 まず開発といった時に、「保守系統の開発」と「新規の機能開発」という分類をしてみようと思います。実際は別々のチームがやっているのではなく同じチームが対応していますが、そういう感じで話していこうと思います。 まず保守ということで、（それはつまり）今動いているものを維持する営みが必要です。さまざまな理由により保守開発がやはり必要です。主にはセキュリティの脅威や、ベンダーのサポートを受けるためにバージョンアップをしなければならないといった理由によるものです。 （スライドを示して）ここには、バージョンアップしか書いていませんが、ほかにもトラブルシュートや故障対応とかもありますよね。 それをやらないといけないのですが、こういったホス
0. はじめに こんにちは。都内でエンジニアをしている、@gkzvoiceです。Gitlab RunnerとArgo CDを使って、GitOpsの考え方を取り入れたCI/CDパイプラインを構築したのでそのふりかえりをします。構築する当初、そもそもなぜGitOpsという考え方が台頭したのか？について分からず、調べたので、併せてお話しできればと思います。目次は以下のとおりです。 0. はじめに 0-1. 前提 0-2. 2つのCDの個人的なメモ 1. GitOpsとはなにか？ 1-1. GitOpsの個人的なメモ 2. そもそもなぜGitOpsという考え方が台頭したのか？ 2-1. CIOpsが抱えていた課題とはなにか？ 3. サンプルのGitOpsスタイルなCI/CDパイプラインの構成図とその技術構成 3-1. サンプルのCI/CDパイプラインの技術構成 3-2. サンプルのCI/CDパイプ
![[Gitlab RunnerとArgo CD使用]GitOpsスタイルなCI/CDパイプラインを構築したのでふりかえる](https://cdn-ak-scissors.b.st-hatena.com/image/square/c591280a84472719a052b605ae4043a0b9439fe6/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--SLn7nJ2p--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGitlab%252520Runner%2525E3%252581%2525A8Argo%252520CD%2525E4%2525BD%2525BF%2525E7%252594%2525A8%25255DGitOps%2525E3%252582%2525B9%2525E3%252582%2525BF%2525E3%252582%2525A4%2525E3%252583%2525AB%2525E3%252581%2525AACI%25252FCD%2525E3%252583%252591%2525E3%252582%2525A4%2525E3%252583%252597%2525E3%252583%2525A9%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252582%252592%2525E6%2525A7%25258B%2525E7%2525AF%252589%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%2525AE%2525E3%252581%2525A7%2525E3%252581%2525B5%2525E3%252582%25258A%2525E3%252581%25258B%2525E3%252581%252588%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Agkz%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2phcXJsSlBfa0RFRVlqa1hzcXZnY295dzVRTE9jYjFqM0RBeEROZWc9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
EKSにおけるkubernetes-external-secretsとIRSAによる権限移譲 - decadence
これは何 EKSでパスワード等のsecret情報を利用するにあたり、EKS x parameter store/secret secret manager x kubernetes-external-secretを利用する際に、IRSA+assume roleで権限を絞る方法について 背景 EKSを利用する際の課題として、Secretの管理をどのようにして行うのか、といった問題がある。 1つの解として、AWS Parameter Store / Secret Manager / etcによるパスワード等の管理を行い、kubernetes-external-secretsを利用して、ExternalSecret resourceからSecretを作成する、といった方法が考えられる。 一方で、正しい使い方をしないと、意図せず強い権限を持ったroleが出来てしまうこともある。 この記事では現時点
Argo CD情報 Argo CDとは 主な特徴 同様の機能を提供する商用製品 動作環境 Argo CDのライセンス Argo CDの公式サイト 製品ダウンロード オープンソース年間サポートサービス Argo CDとは Argo CDは、Argo プロジェクトのサブプロジェクト一つの KubernetesのためのGitOpsに則ったCD(Continuous Delivery)ツールです。 2017年に始まったArgo プロジェクトは、Argo Workflows、Argo CD、Argo Events、Argo Rolloutsなどのサブプロジェクトを持っており、2020年4月にはCNCF（Cloud Native Computing Foundation）インキュベータープロジェクトになっています。 Argoという名前はギリシャ神話のアルゴー船から採用されており、そのマスコットは同名の
楽天銀行 外貨預金 豪ドルのゆくえ #4
以前、楽天銀行の口座を開設し、楽天カードの引落し口座をこの楽天銀行の口座に指定して、外貨定期預金をやってみたことを掲載した これは、２０２１年１… その後、外貨預金の預金額を眺めていると為替レートの変動により預け入れた総額を割る日も出てきだしたし、払い戻しを検討しようかな～と思いながら手数料とかについて掲載していたが 手続きも面倒だな～ってことでそのままの状態にしていた・・・ すると、２０２２年３月２３日現在、なんと１豪ドル＝90.09円になった そして、２０２２年３月２５日には、期待していた１豪ドル＝91円台にヽ(^o^)丿 ついに２０２２年３月２８日現在、なんと１豪ドル＝92.73円を突破した～ その後の２０２２年３月３０日は、若干円高に転じ１豪ドル＝90.97円に これまで、投資みたいなものを全くやってこなかったこともあって、全然予想がつかないしどうしたらよいのかサッパリだ～ そんな
CRD（Custom Resource Definition）。 「時々見かけるワードだけど、何となく使っていてよくわからない」「そもそもCRDって何?」という方もいらっしゃると思います。 これを紐解くキーワードは「拡張性」です。Kubernetesのメリットの一つである優れた拡張性を実現するのが、CRDによるリソースの拡張なのです。 もちろんリソースの拡張をせずとも、Kubernetesの標準リソースだけでもさまざまなことが実現できますし、それで十分というケースもあるでしょう。ですが、世の中にある膨大なITシステムで実現するアーキテクチャにはさまざまなものがあります。Observability（可観測性）やCI/CD（継続的インテグレーション／継続的デリバリー）など含めた運用性を考慮すると、標準リソースだけで実現できるとは限りません。 そのため、求められるアーキテクチャを実現するにあたっ
DNS over HTTPS - Wikipedia
DNS over HTTPS（DoH）は、リモートのDNS解決をHTTPSプロトコルを用いて実行するためのプロトコルである。 概要[編集] この手法の目的は、プライバシーとセキュリティを向上させ、盗聴を防いだりDNSデータの中間者攻撃による操作から保護することである[1]。そのために、DoHクライアントとDoHベースのDNSリゾルバ間のデータをHTTPSプロトコルを使用して暗号化する。 ただし、この技術(DoH)やDoT(DNS over TLS)による暗号化自体は、The Register（英語版）が言うように[2]盗聴、検閲やプライバシーの面で政府に対抗しうる保護を提供するものではなく、データを難読化するものである。端末（あるいはスタブリゾルバ、以下同）からDNSリゾルバまでの間の盗聴や中間者攻撃からの保護には効果がある[3]。 ある端末からのDNSクエリ全体のプライバシー確保は、DN
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitLab CI + ArgoCDでk8sのGitOpsを試してみる
Edge-Side-Includes with Cloudflare Workers
CNCF連載始めます | フューチャー技術ブログ
夜空と神話のロマンが詰まったスタイリッシュな腕時計を使ってみた | ライフハッカー・ジャパン
Argo CDでGitLab SSOを利用する - GeekFactory
Cloud AI Platform Pipelines のご紹介 | Google Cloud 公式ブログ
「［増補改訂］ビッグデータを支える技術」を書きました - Qiita
Argo CD - Declarative GitOps CD for Kubernetes
Argo Rolloutsに入門する - TECHSTEP
Airflow vs Luigi vs Argo vs Kubeflow vs MLFlow
「社内のWikiでSEO対策している人もいる」 LINEのフロントエンジニアが語る、社内の知見共有文化
Argo CDのApp of apps patternは何が嬉しいのか | DevelopersIO
星座モチーフのデザインウォッチ先行販売が間もなく終了 | ライフハッカー・ジャパン
IaaSのVM屋さんって、実際どんな開発をしているの？ 「新規」と「保守」で見るそれぞれの作業例と問題点
[Gitlab RunnerとArgo CD使用]GitOpsスタイルなCI/CDパイプラインを構築したのでふりかえる
Argo CD 最新情報 | OSSサポートのOpenStandia™【NRI】
Kubernetes入門(24) Kubernetesのアーキテクチャの"肝"-「CRD」を使ってみよう