Terraform, Dockerfile, KubernetesなどIaCの脆弱な設定をCI/CDで検知する - knqyf263's blog
概要 自分の所属企業であるAqua SecurityがTFsecというOSSを買収しました。 blog.aquasec.com TFsecはどういうツールかというとTerraformの静的解析スキャナーです。Terraformの設定ファイルを渡すことでセキュリティに関する設定ミスを主に検知してくれます。 github.com そのアナウンスに伴い、TFsecは自分が開発している脆弱性スキャナーであるTrivyに統合されました。TrivyではTerraformに加えDockerfileやKubernetesなど、いわゆるInfrastructure as Code（IaC）の設定ミスを検知するマネージドポリシーも提供しています。他にもJSONやYAMLなど一般的なファイルフォーマットに対応しているため自分でポリシーを書くことでそれらの検知にも使えます。CloudFormationやAnsib
はじめに GitHub Script概要 セットアップ context の中身 eSquare Liveでの活用事例 発生した問題 タグの打ち間違い releaseブランチが複数存在する場合のデプロイ先選択の複雑化 解決策としてのGitHub Scriptの活用 機能1 vX.Y.Zのタグがmainブランチのコミットハッシュと一致することを確認する 機能2 releaseブランチは最新バージョンのみ自動で検証環境にデプロイする 完成版スクリプト まとめ はじめに こんにちは、enechainでeSquare Liveを開発しているエンジニアの古瀬(@tsuperis3112)です！ 今回は、マニュアル依存になりがちなデプロイフローの問題を actions/github-script で解消した方法についてお話します。 eSquare Liveの開発では、効率的かつ信頼性の高い開発フローを維
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. ActionKit by Paragon - Connect to 130+ SaaS integrations (e.g. Slack, Salesforce, Gmail) with Paragon’s ActionKit API. Adfin - The only platform you need to get paid - all payments in one place, in
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
Dark Side of DevOps
Transcript Protsenko: My name is Mykyta. I work at Netflix. My job is basically making sure that other developers don't have to stay at work late. I call it a win when they can leave at 5 p.m., and still be productive. I work in the platform organization, namely in productivity engineering, where we try to abstract toil away for the rest of engineers. Where we try to make sure that the engineers c
GoとCobraを用いた新規マイクロサービス用ボイラープレートの自動生成CLIツールでコスト削減した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy でソフトウェアエンジニアをしている ryio1010です。 私は弊社が提供するファンコミュニティプラットフォーム「Gaudiy Fanlink」の開発において、フィーチャーチームの一員として、主にバックエンド開発を担当しています。 バックエンドのアーキテクチャにはマイクロサービスを採用していますが、会社のフェーズ的に試行錯誤の段階であることや、それに伴うチーム体制の変更がよく起きていることもあり、新しいマイクロサービスの立ち上げも頻繁に行われています。 私自身もこれまでの業務で2〜3つの新しいマイクロサービスを立ち上げる経験をしてきました。 今回は、これらのマイクロサービスの立ち上げと運用の経験から、特に立ち上げフェーズにフォーカスし、改善を行った事例をご紹介したいと思います。 1. マイクロサービスの概要とGau
Terramate CLI: IaC Orchestration and Code Generation for Terraform & OpenTofu
Discover Terramate CLI, an open-source tool for Infrastructure as Code (IaC) orchestration and code generation that helps you to simplify complex codebases, split up large state files into smaller units called stacks and automate your IaC deployments in any CI/CD using GitOps workflows. When dealing with Infrastructure as Code (IaC) such as Terraform, OpenTofu, Terragrunt, or Kubernetes (e.g. Kube
私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL
IngressNightmare: CVE-2025-1974 - 9.8 Critical Unauthenticated Remote Code Execution Vulnerabilities in Ingress NGINXOver 40% of cloud environments are vulnerable to RCE, likely leading to a complete cluster takeover. Wiz Research discovered CVE-2025-1097, CVE-2025-1098, CVE-2025-24514 and CVE-2025-1974, a series of unauthenticated Remote Code Execution vulnerabilities in Ingress NGINX Controller
動作検証しながら理解する「Kubernetes Gateway API」と「GKE Gateway Controller」 - ZOZO TECH BLOG
はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山（@Ash_Kayamin）です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE（Google Kubernetes Engine）版実装であるGKE Gateway Controllerのリリースをアナウンスするものでした。 それから半年が経ち、本番導入の可能性を模索するためにKubernetes Gateway APIとGKE Gateway Controllerを調査、動作検証しました。本記事では、Kubernetes Gate
We are very far from a better Heroku for production apps in a hyper cloud
Update: This post does not live up to its original title We are building a better Heroku. It shows my own personal experience and reflects poorly on competitors. I am sorry about that. It should have emphasized the building part, we're just starting. The current 5 minute production app doesn't hold a candle to Heroku at the moment. It should have made it clear the goals is to improve the speed wit
The Architecture of a Modern Startup | by Dmitry Kruglov | Nov, 2022 | Better Programming
workflow — all images by authorThe Tech side of startups can sometimes be very fluid and contain a lot of unknowns. What tech stack to use? Which components might be overkill for now but worth keeping an eye on in the future? How to balance the pace of business features development while keeping the quality bar high enough to have a maintainable codebase? Here I want to share our experience buildi
Amazon EKS now supports provisioning and managing EC2 Spot Instances in managed node groups | Amazon Web Services
Containers Amazon EKS now supports provisioning and managing EC2 Spot Instances in managed node groups This post was contributed by Ran Sheinberg, Principal Solutions Architect and Deepthi Chelupati, Sr Product Manager Amazon Elastic Kubernetes Service (Amazon EKS) makes it easy to run upstream, secure, and highly available Kubernetes clusters on AWS. In 2019, support for managed node groups was a
Where Programming, Ops, AI, and the Cloud are Headed in 2021
In this report, we look at the data generated by the O’Reilly online learning platform to discern trends in the technology industry—trends technology leaders need to follow. But what are “trends”? All too often, trends degenerate into horse races over languages and platforms. Look at all the angst heating up social media when TIOBE or RedMonk releases their reports on language rankings. Those repo
Ubie Engineering Advent Calendar 2023 の22日目の記事では、Ubieのプラットフォームで生じていた課題と、それを解決するためにサービステンプレーティングツールを開発・導入した取り組みについて紹介します。 はじめに プラットフォームエンジニアリングとは 具体的な課題 解決法 具体例 実装 CUE CI/CD マニフェストの更新 サービスカタログ ubieformの現在と今後 おわりに おまけ はじめに アドカレ初日の記事で紹介があったように、Ubieではモジュラモノリスとマイクロサービスアーキテクチャの両方を採用しており、独立して動くサービス数は現在70近くに及んでいます。それらのインフラの大部分はGoogle Cloud上のGKEかCloudRunで動いており、その管理と運用が私の所属する基盤チームの責務になります。 新たなマイクロサービスを立ち上げる
Software Design 2024年6月号 連載「レガシーシステム攻略のプロセス」第2回 ZOZOTOWNリプレイスにおけるIaCやCI/CD関連の取り組み - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 本連載では、ZOZOTOWNリプレイスプロジェクトについて紹介します。2020年に再始動したZOZOTOWNリプレイスでは、「マイクロサービス化」が大きなカギとなりました。今回は、SRE部が行った、リプレイス方針の決定から導入ツールの選定、マイクロサービスのリリース方法の改善までを紹介していきます。 目次 はじめに 目次 ZOZOTOWNリプレイスにおけるSRE部の方針 IaCの導入 IaCとは プラットフォーム基盤におけるIaC CI/CDの導入 CI/CDとは GitHub Actions 変更のあるインフラリソースのみをCIの対象とする工夫 Canary Releaseの導入 Canary Releaseとは ZOZO A
Introducing Amazon EKS Distro (EKS-D) | Amazon Web Services
AWS Open Source Blog Introducing Amazon EKS Distro (EKS-D) This post was contributed by Allan Naim, Chandler Hoisington, Raja Jadeja, Micah Hausler, and Michael Hausenblas. Today we announced Amazon EKS Distro (EKS-D), a Kubernetes distribution based on and used by Amazon Elastic Kubernetes Service (Amazon EKS) to create reliable and secure Kubernetes clusters. With EKS-D, you can rely on the same
The Story of Heroku may 2022 – lee robinson Heroku made it easy for any developer to build and run applications in the cloud without managing their own infrastructure. Now 15 years later, it continues to inspire the next generation of developers. Why did Heroku become so popular? What can we learn from their incredible developer experience? How is Heroku shaping the next generation of serverless?
はじめにこんにちは！ TIG コアテクの川口です。 こちらは、 Terraform 連載 の6日目の記事になります！ 今回は Terraform x GitOps について調査しました。 Terraform x GitOps?そもそも Terraform x GitOps とはなんぞやということからですが。 まず GitOps という概念は、 Weaveworks 社によってはじめに提唱されたもの です。 主に Kubernetes リソースを管理する文脈で登場した概念で、4つの主要な原則として以下のように定義しています。 #1. Declarative: The entire system has to be described declaratively ~ システム全体を宣言的に記述する。~ #2. Versioned and immutable: The canonical des
The Twelve-factor app is a methodology for building software-as-a-service apps that was first formulated by developers associated with Heroku. It's been ten years since the first presentation of this methodology. Despite the criticism that it is only applicable to Heroku and similar webapp services, it remains a relevant yard stick for software-as-a-service development. Some of its tenets have bee
やりたいこと 前回はArgoCDをインストールしたEKSクラスター内にArgoCD経由でアプリケーションをデプロイしました。 今回は、ArgoCDをインストールするクラスターと、アプリケーションをデプロイするクラスターを別にした構成を作ってみたいと思います。かつ、この2クラスターは別々のAWSアカウント上に置きます。 ついでに、新たに学んだことを色々盛り込んでいきます。 前提条件 kubectlのインストール Argo CD CLI のダウンロード - 前回の「Argo CD CLI のダウンロード」項を参照ください。 ArgoCDをインストールするEKSクラスターを作成 今回使用するAWSアカウントではAWS SSOでAdministratorAccess権限のロールが使えるので、aws configure ssoでそのロールのクレデンシャルでクラスターを作成します。 こんな感じのAWS
EKS/Kubernetesで画像カテゴリ分類のGPU推論環境をProduction Readyにするまで - nariのエンジニアリング備忘録
こちらは Eureka Advent Calendar 2021の12/20の記事となります. English Version: medium.com はじめに こんにちは、エウレカSREチームのnari/wapperと申します👋 最近は、データライフサイクル・プライバシープロジェクト/データプラットフォームの移行/審査サービスのMLシステムのインフラなどを担当したりしています(Site Reliability Engineerなのかわからなくなってきた) その中で今回は、審査サービスにおける画像カテゴリ分類モデルを、EKSで本番環境にリリースした話を紹介したいと思います。 EKS Clusterの本番環境設定のポイントは、セキュリティ項目も含めてたくさんありますが、今回はGPU推論環境ならではのポイントにフォーカスしてみたいと思います。 対象読者 Kubernetesに関する基礎知識（
ArgoCDことはじめとして、Getting Startedをやってみたレポートです。ArgoCDをインストールし、インストールしたクラスター内にアプリケーションを作成します。 環境 macOS Catalina 10.15.7 (19H524) 前提条件 kubectlのインストール EKSクラスター作成 以下を使ってEKSクラスターを作成します。 コンテキストの作成を忘れずに。 % aws eks update-kubeconfig --name blue-with-module ArgoCD インストール % kubectl create namespace argocd namespace/argocd created % kubectl apply -n argocd -f https://raw.githubusercontent.com/argoproj/argo-cd/st
Awesome Terraform | Curated list of awesome lists | Project-Awesome.org
A curated list of resources on HashiCorp's Terraform. Your contributions are welcome! Terraform enables you to safely and predictably create, change, and improve production infrastructure. It is an open source tool that codifies APIs into declarative configuration files that can be shared amongst team members, treated as code, edited, reviewed, and versioned. Contents Legend Official Resources Com
How Smallstep SSH Works Smallstep delivers end-to-end SSH workflow that marries modern identity providers with short-lived SSH certificates and flexible access control. At the core is step-ca, our open-source certificate authority, and our step CLI toolkit that makes SSO for SSH a simple and elegant experience for users. Available on-premise or as a managed offering. Users sign in to your identity
Implementing BlueGreenDeployment with GitHub Actions + ECS
Introduction Hello. I’m Shimamura from the Platform Group’s Operation Tool Management Team, where I work in platform engineering, focusing on tool development and operations. I'm Yamada, also part of the Platform Group’s Operation Tool Management Team, where I focus on developing in-house tools. At KINTO Technologies, we utilize Amazon ECS + Fargate as our application platform. For CI/CD, we use G
wp-k8s: WordPress on privately hosted Kubernetes cluster (Raspberry Pi 4 + Synology) - FoolControl: Phear the penguin
wp-k8s: WordPress on privately hosted Kubernetes cluster (Raspberry Pi 4 + Synology) Adnan Hodzic November 12, 2021 Blog post you’re reading right now is privately hosted on Raspberry PI 4 Kubernetes cluster with its data coming from NFS share and MariaDB on a Synology NAS. Purpose of this post is to serve as an ultimate guide on how to build a (prod ready) RPI k8s cluster and deploy WordPress CMS
The Architecture Behind A One-Person Tech StartupSep 12, 2023 (updated)@anthonynsimon Update: since I wrote this article, Panelbear has been acquired and I've simplified my stack. In particular, instead of Kubernetes I now use Kamal to deploy my apps. You can read more about it here. This is a long-form post breaking down the setup I use to run a SaaS. From load balancing to cron job monitoring to
Around 2012-2013 I started to hear a lot in the sysadmin community about a technology called "Borg". It was (apparently) some sort of Linux container system inside of Google that ran all of their stuff. The terminology was a bit baffling, with something called a "Borglet" inside of clusters with "cells" but the basics started to leak. There was a concept of "services" and a concept of "jobs", wher
Amazon EKS で CNI カスタムネットワーキングと Pod セキュリティグループを活用する | Amazon Web Services
Amazon Web Services ブログ Amazon EKS で CNI カスタムネットワーキングと Pod セキュリティグループを活用する この記事は Leveraging CNI custom networking alongside security groups for pods in Amazon EKS (記事公開日: 2022 年 8 月 19 日) を翻訳したものです。 はじめに Amazon Elastic Kubernetes Service (Amazon EKS) は、独自の Kubernetes コントロールプレーンやノードを構築、運用、保守することなく、AWS 上で Kubernetes を実行できるマネージドサービスです。Amazon EKS は、Amazon VPC Container Network Interface (CNI) プラグインを使用
August 23, 2022 This article was contributed by Jordan Webb Docker and other container engines can greatly simplify many aspects of deploying a server-side application, but numerous applications consist of more than one container. Managing a group of containers only gets harder as additional applications and services are deployed; this has led to the development of a class of tools called containe
An AI-native software engineer is one who deeply integrates AI into their daily workflow, treating it as a partner to amplify their abilities. This requires a fundamental mindset shift. Instead of thinking “AI might replace me” an AI-native engineer asks for every task: “Could AI help me do this faster, better, or differently?”. The mindset is optimistic and proactive - you see AI as a multiplier
Hi, I am Niekis Aurimas, and I am a System division leader at GMO Research. I have been working for GMO for over a year. I was born and raised in Lithuania, but I lived in Germany and the United Kingdom for a few years before moving to Japan last year before CODID-19. Since last winter, I have been working on a new project structure at GMO, which would include all the latest technologies and pract
Atlantis + Cloudflare TunnelでTerraformの自動実行環境を導入する - 虎の穴ラボ技術ブログ
こんにちは、虎の穴ラボ インフラエンジニアのかなざわです。 本記事は虎の穴ラボAdvent Calendar 2022-Qiitaの13日目の記事です。 12日目はgodanさんによる「Google Apps Scriptでダンジョンゲームを作る」が投稿されました。 14日目は虎の穴ラボ デザインチームによる「デザインチームが自ら企画＆開発に挑戦？！クリエイター向け新サービス「デジタルサインカード」をつくってみた」が投稿されます。こちらもぜひご覧ください。 はじめに 私は新しい機能の確認や検証の場所として、プライベートでAWSアカウントを契約し利用しています。AWSに構築した各種リソースはTerraformとVCS(GitHub)でコード管理を行っています。そして、インフラリソースを構築する時は自分の端末からterraformコマンドを実施していました。 その方法でもリソースの作成に支障は
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
始めに Ubieでプラットフォームエンジニア兼SREをしているonoteruです。 本記事では、2023年に公開した「Ubieにおけるプラットフォームエンジニアリングの取り組み2023」の続編として、2024年に実行したインフラのマイグレーションについて紹介します。以前のブログでは、新しいUbieプラットフォームの構想と進行中のプロジェクトについて共有しました。そして2024年、その構想のもとに以下3つのマイグレーションを実施しました。 単一のGKEクラスタからマルチクラスタ構成への移行 Argo Workflowからフルマネージドなワークフローへの移行 CloudSQLからスケーラブルで管理性の高いDB(AlloyDB)への移行 これらの移行の狙いは、Ubieのサービスの信頼性、スケーラビリティ、そして開発効率を向上させることです。 本記事では、これらの移行の詳細、直面した課題、そして得
Track Awesome List Updates DailyWe track over 500 awesome list updates, and you can also subscribe to daily or weekly updates via RSS or News Letter. This repo is generated by trackawesomelist-source, visit it Online or with Github. 📅 Weekly · 🔍 Search · 🔥 Feed · 📮 Subscribe · ❤️ Sponsor · 😺 Github · 🌐 Website · 📝 07/29 · ✅ 07/29 Table of Contents Recently Updated Top 50 Awesome List All Tr
The time has finally come! After the massive success of our Docker and Kubernetes guides, we are now ready to see several anti-patterns for Argo CD. Anti-patterns are questionable practices that people adopt because they seem like a good idea at first glance, but in the long run, they make processes more complicated than necessary. Several times, we have spoken with enthusiastic teams that recogni
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CI/CD革新 GitHub Script活用術 - enechain Tech Blog
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
Scaling containers on AWS in 2022
RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
CVE-2025-1974: The IngressNightmare in Kubernetes | Wiz Blog
Ubieにおけるプラットフォームエンジニアリングの取り組み2023 - 電気ひつじ牧場
The Story of Heroku | Lee Robinson
Terraform x GitOps | フューチャー技術ブログ
Twelve-factor app anno 2022 | Xenit
ArgoCDで外部のクラスターにアプリケーションをデプロイ | DevelopersIO
はじめてのArgoCD | DevelopersIO
Single Sign-On SSH | How It Works
The Architecture Behind A One-Person Tech Startup
What Would a Kubernetes 2.0 Look Like
The container orchestrator landscape
The AI-Native Software Engineer
An Introduction to Terraform - GMO Research & AI Tech Blog
Ubieのマルチクラスタ移行とプラットフォームエンジニアリング
Track Awesome List Updates Daily
Top 30 Argo CD Anti-Patterns to Avoid When Adopting Gitops