Terraform でAWS 環境にDockle + git-secrets を組み込んだCIを構築する - Qiita
はじめに コンテナセキュリティのガイドライン NIST SP800-190(アプリケーションコンテナセキュリティガイド) では、イメージのリスクの1つとして 「イメージの設定の不備」 について言及されています。 さらに、NIST SP800-190 では、このリスクへの対策として、 「セキュアな設定のベストプラクティスへの準拠を検証および実施するためのツールとプロセスを採用すること」 を推奨しています。 本記事では、この 「イメージの設定の不備」 へのリスク対策ツールとして、Dockle とgit-secrets を採用し、このツール群を組み込んだCI パイプライン(ビルドのプロセス)をTerraform でAWS 環境に構築する方法を記載しています。 コンテナイメージのセキュリティ対策の一例として参考になれば幸いです。 Terraform で構築する全体構成図 構成の概要 Dockerf
前提 大学1年の終わり頃にプログラミング学習を始めて、ちょうど3年弱くらい経ちました。 数え切れないほどの技術書を読んできましたが、その中でも「これはよかったような気がする！」という書籍を載せておきます。 選出の観点は「面白さ」「わかりやすさ」「その知識が役に立ったか」の３つの観点から総合的に評価しています。 また、原則翻訳されたものがあればそちらを掲載しています。 ところが、僕はO'Reillyのサブスクを契約しているため、ほとんどのO'Reillyの書籍を原文で読んでいます。 そのため、翻訳の精度などについて評価することはできない点をご了承ください。 ※ リンクはアフィリエイトリンクではないので、気にせずご覧ください。 ネットワーク 3分間ネットワーク ネットワークのプロトコルとか以前の最低限の仕組みをトーク形式でわかりやすく話してくれている書籍です。 大学の授業とかを受ける前にこの本
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
【Terraformチュートリアル】Terraformを使ってAWSを構築してみる｜TechTechMedia
Terraformとはコードを使ってインフラを構築・変更・管理するためのツールです。 Terraformを使用することで、AWSやGoogle Cloud、Microsoft Azureなどのクラウドプロバイダー、Docker、GitHubといった様々なサービスのインフラをコードベースで管理することができます。 またTerraformはHCL (HashiCorp Configuration Language) と呼ばれる独自の構文を使用してインフラの構成を記述します。HCLは人間が読み書きしやすく、構成ファイルをテキストエディタで編集できるため、簡単にバージョン管理することができるという特徴を持ちます。 TerraformチュートリアルAWSのアカウント登録AWSのアカウントを持っていない方はまずはアカウント登録を行なってください。 IAMユーザーの作成TerraformからAWSを操作
Terraformのplan結果をmarkdownとして整形するツール、terraform-j2mdの紹介 - Repro Tech Blog
こんにちは、@r_takaishi です。最近のおすすめYouTubeチャンネルは Namibia: Live stream in the Namib Desert です。今回は、Terraformのplan結果をmarkdownで整形するツールである reproio/terraform-j2md について紹介します。 どのようなツールなのか まずはterrafororm-j2mdがどのようなツールなのかお見せします。まず、以下のようなTerraformのコードを用意します。 terraform { required_providers { env = { source = "tchupp/env" version = "0.0.2" } } } provider "env" { # Configuration options } resource "env_variable" "test
# 命令 下記の「構成」を満たすAWSのシステム構成図をMermaidで作成して下さい。 作図を行う際、システムの構成要素は「Mermaid記法集」のデザインを元に記述して下さい。 各種システム構成要素には全てその名称も明記して下さい。 ## 構成 - シンプルな三層アーキテクチャ - ALBの前段にCloudFrontを立てている - ALBはパブリックサブネット内のEC2に負荷分散する - EC2はプライベートサブネット内のRDSにアクセスする - 画像ファイルなどのデータはS3に保存しており、CloudFront経由で配信している ## Mermaid記法集 ### 各種グループの記法 #### AWS Cloud fill:none,color:#345,stroke:#345 #### Region fill:none,color:#59d,stroke:#59d,stroke-
CTO 室 SRE kenzo0107 です。 以前執筆した ECS を利用した検証環境の自動構築について、運用開始から3年の時を経ました。 実運用とその上で頂いた要望を取り入れ変化してきましたので、その経緯を綴ります。 tech.medpeer.co.jp 本稿、議論を重ね改善を進めて頂いたチームメンバーの知見を集めた元気玉ブログとなっております。 前提 社内では、以下の様に呼び分けしています。 本番相当の検証環境を STG 環境 本記事で説明する自動構築される仕組みを持つ環境を QA 環境*1 検証環境の自動構築の目的 開発した機能を開発担当者以外でも簡易的に確認できる様にし、以下を促進します。 ディレクターと開発者の仕様齟齬を減らす 改善のサイクルを高速化する 当時の検証環境の自動構築の仕組み 大まかな流れ ① ブランチ qa/foo を push ② CircleCI 実行 ③ C
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
みなさんこんにちは。Backlog課のGitチームに所属するテリーです。今回は僕たちが日々運用するECS Fargate上のアプリケーションのデプロイ方法とそれをどう改善してきたかについてまとめました。デプロイについて迷っている方や日々の業務の改善が好きな人に読んでもらえたらと思います。 Git機能におけるデプロイ ECS上で動くアプリケーション BacklogのGitはEC2上で動くアプリケーションとECS Fargate上で動くアプリケーションで構成されています。 アーキテクチャの外観は上記のようなになっています。Gitのアーキテクチャについて過去に詳しく説明したブログを発表していますので詳しくはこちらを参照ください。 僕たちは上記のアーキテクチャ中の4つのアプリケーションをECS Fargate上で運用しています。また、内部的な話になりますがBacklogには内部構造として複数の本番
HashiCorp社が提供するTerraformは、マルチクラウド上のコンピュータやネットワークの構築を自動化する、エンジニアにとても人気のあるツールです。 Terraformをご存じなかった方にも、その「成り立ち」と「何を目指しているのか」についてご理解いただけるよう、今回は「5分で分かるTerraform（Infrastructure as Code※1）」と題した記事を日本語訳してお届けします。著者のMehdi ZedはモントリオールでDevOpsバックエンド開発に携わっており、DevOpsについてSNSで積極的に発信しています。その発信内容は非常に分かりやすく、今回の記事についても本人の了解を得て日本語化しました。 ※1 インフラの構築・運用に関わる作業をコード化、自動化するアプローチ。設定変更作業をコードで管理することで手作業による間違いを防ぎ、設定変更を履歴として管理できる。ま
DevOps実装初期フェーズの組織がTerraformとecspressoで求めるAmazon ECS CICDの最適解/AWS ECS CICD with Terraform and ecspresso
Cloud Native Days Tokyo 2022
はじめに KubernetesではWebアプリケーションから業務用のワークフロー（バッチ処理とか）に至るまで様々なアプリケーションを動かすことができるが、現実世界において苦労するポイントの1つは、ワークロードに秘匿情報を渡すための方法である。 例えば、アプリケーションの上でデータベースに接続するために必要なエンドポイントの情報やパスワードなどの認証情報は、アプリケーションのソースコードに直接書くことはご法度だし、コンテナ化する際に内包することも原則タブーである。また環境変数として注入する場合でも、その情報が物理ディスクに残ってしまう場合などを考え最新の注意を払う必要がある。 ここではKubernetes上のワークロードに秘匿情報をできるだけ安全にわたすための方法を運用者・開発者の目線で考える。 Kubernetesが持つ外部情報注入の仕組み Kubernetesの場合、アプリケーションに情
生成AIを活用したシステム開発の現状と展望
Copyright (c) The Japan Research Institute, Limited 生成AIを活用したシステム開発 の現状と展望 - 生成AI時代を見据えたシステム開発に向けて - 株式会社日本総合研究所 先端技術ラボ 2024年09月30日 <本資料に関するお問い合わせ> 伊藤蓮(ito.ren@jri.co.jp) 近藤浩史(kondo.hirofumi@jri.co.jp) 本資料は、作成日時点で弊社が一般に信頼できると思われる資料に基づいて作成されたものですが、情報の正確性・完全性を弊社で保証するもので はありません。また、本資料の情報の内容は、経済情勢等の変化により変更されることがありますので、ご了承ください。本資料の情報に起因して閲覧者 及び第三者に損害が発生した場合でも、執筆者、執筆取材先及び弊社は一切責任を負わないものとします。本資料の著作権は株式会社日
Terraform Monorepo の CI の実行時間を可視化し 2 分以上高速化 - freee Developers Hub
SRE team の suzuki-shunsuke です。 今年の 8 月(約3か月前)から freee の SRE team に join しました。 本記事では Terraform Monorepo の CI の実行時間を CIAnalyzer で可視化し 2 分 (70 percentile で約 160 %) 以上高速化した話を紹介します。 背景 freee には AWS などを管理する Terraform の Monorepo があり、 SRE を中心に多くの開発者がそのリポジトリで開発を行っています。 CI には GitHub Actions の Self-hosted Runner を使っています。 フローとしては GitHub Flow を採用しており、 Pull Request を作成すると CI で terraform plan が実行されます。 terraform
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと思
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し
こんにちは！もみです🐶 皆さん、GitHubプロフィールのREADME は設定していますか？ GitHubのプロフィールを充実させることで、 GitHub上での交流はもちろん、就活や転職でもきっとちょっと役に立ったりと、素敵なご縁に繋がるかもしれません。 たった5分で設定できるので、さっそく設定していきましょう！ 🚩 今回作成するプロフィール シンプルさを保ちつつ、スキルやGitHub上での活動を中心にした自己紹介テンプレートにしてみました！ GitHubリポジトリ： https://github.com/NonokaM/sample-github-profile/blob/main/README.md 1. リポジトリを作成しよう まず、ユーザー名と同じ名前のリポジトリを作成しましょう。 （ ユーザー名と同一のリポジトリは、特別なリポジトリと認識されて自動的にプロフィールに表示されま
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
blogではじめまして。札幌オフィス清掃員です。 COLSISでは業界一強のAWSにこだわることなく、数多のクラウドIaaSを利用しています。 これまでGCPに関しては、案件数が少ないこともあり、弊社CTOが手作業で環境を構築していたのですが、ちょっと真似できないのと、私はメイン業務が清掃であり、IT知識や技術に乏しい為、今ある環境をそのままコピーしたいなぁという事でTerraformer を用いて Terraform 化してみることにした顛末をお届けしたいと思います。 既に擦り尽くされた感のあるTerraformネタではあるのですが、ちょっと調べるだけだとAWSで利用しているという情報が多く、GCPでの利用についての情報を公開するのも無駄ではないかなと思いましてblogを書いてみる次第でございます。 お手柔らかにどうぞ。 GCP構成 弊社では大体下図のような構成をとっています。 もちろん
Webフロントエンドで脱SSRして料金を6割節約した話
このブログ記事では、ORICALのフロントエンドのインフラ構成を移行し、SSR（サーバーサイドレンダリング）をやめてCSR（クライアントサイドレンダリング）に一本化した際の話について、移行前と移行後の構成の違いに焦点を当ててご紹介します。移行にあたっては様々な苦労がありましたが、それはまた別のブログ記事で詳しくお話ししたいと思います。 ORICALとは まず、ORICALについて簡単にご紹介します。ORICALは、選手や力士、キャラクターやVTuberの電子トレカをコレクションし、それらを使って対戦などができるサービスです。 デジタルなカードであることを活かして、レアリティの高いカードには多彩なエフェクトが適用されていたり、静止画ではなく動画であったりします。 移行前の構成 ORICALは複数のスポーツチームや芸能事務所等（弊社ではパートナーと読んでいます）と提携し、パートナーごとにサービ
「IaCで全てが上手くいくと思うなよ！失敗事例のご紹介」をAKIBA.AWS IaC編で喋りました #AKIBAAWS | DevelopersIO
「IaCで全てが上手くいくと思うなよ！失敗事例のご紹介」をAKIBA.AWS IaC編で喋りました #AKIBAAWS どうも、もこ@札幌オフィスです。 5/18に開催されたAKIBA.AWS ONLINE #03 -「IaCで全てが上手くいくと思うなよ！失敗事例のご紹介」のタイトルで登壇しましたので、資料と補足情報を公開します。 なお、YouTubeで公開されている動画ではより本質的な情報をノーカットで公開していますので、お時間のある方はこちらを見て頂いた方が情報量が多くて良いかと思います。 本記事ではスライドに合わせてブログ形式で解説を付属していきます。 結論 早速結論です。 IaCは手段であり、目的ではない、が、目標にするのは良い事 何も考えないでIaCを始めると破綻する リソースを素手で触らない強い意思 この3つが非常に重要になってきます。 本日お話しすることです。 1. IaCに
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
サーバーサイドエンジニアの熊木（@k_kumaki_）です。 先日、私が担当しているヤクメドにA/BテストツールとしてAWSのサービスであるCloudWatch Evidentlyを導入したので、その経緯や内容についてまとめます。 目次 目次 CloudWatch Evidentlyとは 導入に至った経緯 導入理由 導入方法 1. プロジェクトの作成 2. 機能の追加 3. アプリ側の対応 よかった点 自分で細かな定義が可能 導入が簡単 終わりに CloudWatch Evidentlyとは AWS上でA/Bテストやフィーチャーフラグの管理ができるサービスです。 比較的新しいサービスのため、馴染みのない方も多いかもしれません。 aws.amazon.com 導入に至った経緯 私が開発しているサービスであるヤクメドでは、UX向上のためA/Bテストを実施しています。 そのA/Bテストツールとし
Terraformのレビューを自動化するために、Conftestを導入してGithub ActionsでCIまで設定してみる - nariのエンジニアリング備忘録
はじめに 対象読者 OPA/Rego/Conftestとは Regoでポリシールールを記述して、ルール自体のテストも記述しながらCIへ組み込んでいくまで Conftest(OPA/Rego)のセットアップ 前提知識: Terraform plan 結果の構造 ConftestでTerrafom resource tag ルールを書いてみる ConftestでRegoで書いたルール自体のテストを書いて、実行してみる Conftestを実行するCIをGithub Actionで整備する Conftest/Regoで書いたポリシールール自体のfmt/verifyのCIの設定 Conftest testでTerraform plan結果をテストするCIの設定 終わりに 参考文献 English Version: dev.to はじめに メリークリスマス。eureka, inc. でSREをやってい
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
SRE チームをよりサステナブルにするために Vision/Mission/Values を作った話 - スタディサプリ Product Team Blog
小中高 SRE チームで Engineering Manager をやっている @yuya-takeyama です。 Quipper にはスタディサプリ ENGLISH の SRE である ENGLISH SRE チームと合わせて 2 つの SRE チームがありますが、この記事では自分たち小中高 SRE チームについての話です。 少し前の話になるんですが、小中高 SRE チームの Vision, Mission, Values というものをチームで作りました。 Quipper には会社としての Vision, Mission そして Quipper Identities というものがあります。 これらは策定から数年以上経っていますが、Quipper の社員にとって今も変わらず大事なものです。 が、SRE チームにとっては教育や学習に対して直接的に貢献しているとは言いづらい状況です。 そこで
Development Division/Platform Team/Sys-Infra Unit では、開発者がスムーズに開発作業をできるように様々なことに取り組んでいます。 今回はそのうちの1つを紹介します。 背景 Repro の Slack には、開発オペレーション用のチャンネルがあります。このチャンネルには@deploy-botが存在しています。前回の改善1で@deploy-botは使いやすくなったのですが、Development Division 全体ではあまり活用されていませんでした。 新規アプリケーションのデプロイ準備時に Sys-Infra Unit への作業依頼が多かったため、原因を探ってみたところ、使い始めるのが意外と大変だということがわかりました。 課題 @deploy-botでデプロイするために必要な従来の作業は、詳細に書くと以下の通りです。 デプロイ用の IAM
Announcing HashiCorp Terraform 1.0 General Availability
PackerBuild and manage images as code
モダンなWebアプリのあるべき姿 Twelve-Factor App (AWSやIaCであるTerraformと絡めたら) - Qiita
モダンなWebアプリのあるべき姿 Twelve-Factor App (AWSやIaCであるTerraformと絡めたら)AWSIaCTerraformTwelveFactorQiitaEngineerFesta2022 概要 先日、弊社の情報システム部門で開催されている勉強会にお呼ばれいたしまして、「モダンなWebアプリのあるべき姿 The Twelve-Factor Appとは?」という内容でお話しさせていただきましたので、その内容についてブログとして記載していきたいと思います。 内容なのですが、The Twelve-Factor AppのそれぞれのベストプラクティスとAWSを使った場合の適合方法、それぞれについての理解とモダンなwebアプリ開発など絡めたものになっております。 Twelve-factor Appって?? モダンなWebアプリケーションのあるべき姿として、12のベストプ
……と思っていたら5ヶ月かかりました． 【基盤開発チーム ブログリレー3日目】 「ほんとうにすぐ終わると思ったのかね」 こんにちは，エムスリーエンジニアリングGの榎田です．趣味は数学とテレビゲームです．最近はタクティクスオウガ リボーンを遊んでいます．システィーナをバーサーカーで運用しているのが弊ユニオンの個人的なイチオシポイントです． 閑話休題，ソフトウェア開発において「技術的負債」はつきものです．我々は無限の開発時間が取れるわけでも，神授の智慧を持っているわけでもないので，作ったものは何かしらの要因で負債を抱え，抱えた負債は（多くの場合，知らず知らずのうちに）増えます．負債だらけになってしまったソフトウェアの保守管理は大変ですし，負債になりにくいソフトウェアを作るのも難しいです．ではどうして負債を抱えてしまうのか．負債を返すことの何が大変なのか．負債リスクを予見するのはなぜ難しいのか．
【書評】意図しない請求を防ぐためのノウハウが凝縮！「クラウド破産を回避するAWS実践ガイド」レビュー | DevelopersIO
技術書典応援祭で出展されていた技術同人誌「「クラウド破産を回避するAWS実践ガイド」についての書評です。 オペレーション部 江口です。 現在、オンラインで技術同人誌のオンライン即売イベントである「技術書典応援祭」が開催されています。（期間：4/5まで） この技術書典応援祭で、「クラウド破産を回避するAWS実践ガイド」という本が出展されており、気になったため購入しました。著者はtmknomさん、あの名著「実践Terraform」を書いた方です。期待が高まりますね！ 読んでみた感想ですが、読み終えた直後に自分のTwitterでつぶやいたのでそれをそのまま引用しておきます。 #技術書典 応援祭で買った「クラウド破産を回避するAWS実践ガイド」、ざっと読んだ。予算の管理はもちろん、乗っ取りを防ぐためのセキュリティ対策をどう講じるかを広く説明していてすごく良き。とりあえずここに書かれていることを実践
Cloudflare Workersを中心とした、Cloudflareの開発者向け製品群（いわゆるCloudflareスタック）は、今やそれだけでちょっとしたサービスを生み出すことが不可能ではなくなってきています。 今回、システム構成をCloudflareスタックにほぼ全振りした新サービスをお仕事で作ったので、工夫した点を紹介します。 なお、本記事で紹介するサービスは7月4日に正式リリースしたばかりで、本格的なトラフィックをほとんど経験していない状態でこの記事を書き始めています。2ヶ月ほど運用した後での生の声は、8月25日に新潟で行われる、Cloudflare Meetup Niigataで講演枠をいただいてお話しする予定ですので、気が向いた方は新潟まで足をお運びいただければと思います。 他にも機会があれば登壇したいので、Cloudflare系のイベントにお誘いいただけますと幸いです！ キ
金融スタートアップにおける セキュアなAWSの運用 / fin-jaws-11-secure-aws-operation
2020/04/14 Fin-JAWS 第11回 最近の金融AWS事情 ~2020春~ の登壇資料です。
はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスするタイムトラベルとは異なることをご了承ください。 開発背景 この機能は過去データを日次スナップショットより細かい粒度で見たい、また障害対応時に障害発生前などピンポイントで時間指定して参照したいという要望を受け、開発することになりました。 さらに、BigQueryからこの機能を作るのに役立ちそうなテーブル関数という機能がリリースされたのもきっかけとなりました。 cloud.google.com テーブル関数とは、事前にパラメータを使って定義したクエリをエイリアスのようにテーブルとして保存して、そのテーブルに対して関数を実行
ECSからEKSへの移行への移行事例の紹介
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmaz…
GKE/EKS（Kubernetes）のコスト可視化を良い感じにしてみた - MonotaRO Tech Blog
はじめに こんにちは！コンテナ基盤グループの楠本です。 今回はマルチテナント運用におけるKubernetesクラスタ内のコスト把握方法についてご紹介します。 見どころは EKSでKubecostを使ってみたがうまくいかなかったこと OpenCostを導入して解消したこと Datadogを使ってマルチクラウドのKubernetesを把握できるようにしたこと の３点です。 はじめに 結果：OpenCost・Datadogを使って出来たもの EKSにKubecostを試験導入してみた スプレッドシートで頑張っていた頃 EC2にかわって出番が回ってきた 過去分は取得できない EBSボリュームの管理 EBSボリュームタイプ レポート出力 インスタンスの割引率 Kubecostに躓いた コストに対するモチベーション OpenCostでリトライ 必要なものはOpenCostとPrometheus Pro
こんにちは、クックパッドでエンジニアをやっている @morishin です。入社してわりと長い間 iOS アプリやそのバックエンドの開発を中心にやってきましたが、最近は専らウェブフロントエンドとその基盤をいい感じにするというのをやっています。先日クックパッドウェブサイトのレシピページの OGP 画像を素敵に刷新したのでそのお話をしたいと思います。 ※ ここで OGP 画像と呼んでいるのは Open Graph Protocol で定義されている og:image プロパティに指定する画像のことです。 ※ OGP 画像と呼んでいますが厳密には今回変更したのは Twitter Card (twitter:image) 用の画像のみなので、その他の SNS に表示される画像 (og:image) は変わっていません。 できたもの これまではレシピ作者さんがアップロードされた料理写真を単にクロップ
エンジニアのがんばりを可視化する社内システムを作った話 - ecbeing labs（イーシービーイング・ラボ）
はじめに こんにちは！ecbeing の太田です。新卒 2 年目で、普段は新たな SaaS サービスの開発・保守に携わっております。最近は、ちょっとしたツールやバッチなら片手間で作れるようになって、楽しくエンジニアリングしています！ さて今回は、社内向けのシステムを 1 から作った話を紹介したいと思います。 はじめに 作った背景 コンピテンシーとは 既存システムの課題解決のため 制作過程 ユーザーストーリーマッピング システム構成 API フロントエンド フレームワーク BootstrapVue の採用 アトミックデザイン の採用 データ移行 リリース アップデート 週次アップデート リファクタリング 学び すぐ使わないものは作らない 自分で作ったものは愛着が湧く 好きに触れる土台があるのは強い 最後に 作った背景 今回、社内向けのシステムを作るにあたっての背景からまず説明します。 コンピ
はじめに こんにちは、MA部の松岡（@pine0619）です。MA部ではマーケティングオートメーションシステムの開発・運用に従事しています。 ZOZOTOWNでは、マーケティングオートメーションシステム（以下、MAシステム）を使い、メールやLINE、アプリプッシュ通知といったチャネルへのキャンペーンを配信しています。 MA部では、複数のMAシステムが存在しており、MAシステムそれぞれに各チャネルへの配信ロジックが記述されていました。これにより、現状の運用保守ならびに今後の改修コストが高いかつ、使用している外部サービスのレートリミットの一元管理が出来ていないなどの問題を抱えていました。そのため、外部サービスへのリクエスト部分をチャネルごとにモジュールとして切り出し、複数のMAシステムから共通で使える配信基盤を作成しました。 また、社内の他チームの持つシステムからのキャンペーン配信の要望があっ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラウドが好きな大学生が読んで良さげだった本を紹介する - Qiita
ChatGPTプラグインを使って、AWSのインフラ構成を作図してもらった話 - Qiita
ECS を利用した検証環境の自動構築 ~運用3年を経て得た知見~ - メドピア開発者ブログ
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
僕たちとECSとデプロイとその改善 | 株式会社ヌーラボ(Nulab inc.)
5分で分かるTerraform（Infrastructure as Code） | LAC WATCH
Kubernetesにおける秘匿情報の扱い方を考える - inductor's blog
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能 | ログミーBusiness
AWS EKSとECSの比較と選択基準
Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ
5分でできる！GitHub README プロフィール 💬 - Qiita
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
清掃員がGCP環境構築をTerraform化してみた｜Blog｜株式会社COLSIS（コルシス）
A/BテストツールとしてCloudWatch Evidentlyを導入してみた - メドピア開発者ブログ
GraphQLリファレンスガイド: 柔軟でわかりやすいAPIの構築
開発者の作業効率を向上させるためのデプロイプロセス改善 - Repro Tech Blog
「小さいアプリケーションの作り直しだし，すぐ終わるだろ〜」 - エムスリーテックブログ
Cloudflareスタックをモリモリ使ってアバター画像生成サービスを作った話
BigQueryで時を遡って過去のテーブルを再構成する - ZOZO TECH BLOG
レシピページのOGP画像を動的に生成する - クックパッド開発者ブログ
ZOZOTOWNにおけるマーケティングメール配信基盤の構築 - ZOZO TECH BLOG