毎回ググってるので備忘録。 GCP はこっち。 概要 GitHub Actions では OpenID Connect (OIDC) がサポートされています。 OIDC を使用することにより長期間有効なアクセスキーなどを用意することなく AWS 認証を行うことができます。 詳細については下記ページをご参照ください。 この記事では GitHub Actions で OIDC を使用して AWS 認証を行うまでの手順をまとめます。 リポジトリ この記事内で使用しているサンプルコードは下記リポジトリで管理しています。 手順 1. ID プロバイダを作成する まず OIDC に使用する ID プロバイダを AWS で作成します。 Terraform で作成する場合のサンプルコード data "http" "github_actions_openid_configuration" { url = "

概要 Fluentdで障害設計をする上でバッファリングの概念は切っても切り離せません。 本記事では、ドキュメントだけでは拾いきれないものも踏まえ、 Fluentdのバッファリングで抑えておくべき情報を体系的にまとめます。 バッファリングとは？ Fluentdではログをバッファリングしてまとめて送信するための仕組みが用意されています。 これは下記のような用途に用いることができます。 送信先がダウンしていたときに一時的に保管しておく 送信先のキャパシティに合わせて送信流量を制限する Fluentdにはメモリ上、もしくは永続化ディスク上にバッファを保管しておく仕組みが用意されています。 バッファの構造 バッファの構造は下記のようになっています。 引用: https://docs.fluentd.org/buffer Output Pluginごとに一つバッファ領域を持っており「stage」と「q

特定のSlack投稿をまとめて一覧化したいことはないでしょうか？ 類似のテーマで議論をしているスレッドが日を跨いで複数展開されていたりすると、後々まとめてストックしておきたくなりますよね。 そこで、特定のスタンプ（emoji）を押すと、スプレッドシートに自動的にリスト化される方法について考えてみたいと思います。 しかし、Slackの設定は項目が多く、ドキュメントも多くが英語のため、初心者から見るとむずかしく感じることと思います。 この記事では、プログラミング初心者でも、Slack連携の概念から具体的な設定方法について理解ができるよう説明していきますので、ぜひチャレンジしてみてください。 プログラミングで仕事を効率化させましょう！

こんにちは。エムスリー・QLife(エムスリーのグループ会社)・エムスリーヘルスデザイン(エムスリーのグループ会社)でエンジニアとして各種作業に関わっている山本です！ 以前もメール送信の話を書かせていただいたことがありますが、今回もまたメールネタとなります。今回のお題はメールセキュリティです。 大量メール送信のための予備知識 - エムスリーテックブログ すでにご覧になった方もいるかと思いますが、次のようなニュースが流れています。 www.proofpoint.com この「GoogleとYahooの新Eメール認証要件」ってつまりどういうことよ？ というところを具体的にどのように進めているかについて書かせていただきたいと思います。 2023/12/18追記 : Googleからメール送信にTLSを使うことが追加要件として示されました。 TL;DR とりあえず何から始める？ 何はともあれ実際に

はじめに こんにちは、ECプラットフォーム部会員基盤ブロックのturbofishです。弊社ではモノリスのプログラムで動いているZOZOTOWNをマイクロサービス化する取り組みを行なっており、複数チームが1つの大きなオンプレシステムをマイクロサービスでリプレイスしています。その中で私が所属する会員基盤ブロックでは、ZOZOTOWNの会員情報を管理するマイクロサービスを開発しています。 本記事では、弊チームを含む複数のマイクロサービス開発チームにおいて、既存のアプリケーションの一部をマイクロサービスを使用する処理に置き換えた際、サービス無停止でオンプレ環境にあるDBからマイクロサービスが使用するクラウド環境のDBにデータを移行した戦略を紹介します。 ディスクレイマー 本記事で紹介するデータ移行方法には下記の制約があり、全ての状況に対応できるわけではありません。 DBへの書き込み処理と読み取りの

本来こっちのリポジトリにあるべきファイルがなぜか別のリポジトリにあるという状況に出くわしたので、Git の履歴を含めて別のリポジトリに移せるか調べてみました。 大まかな手順は次のとおりです。 移行元のリポジトリをクローンして移したいファイルだけ残す クローンしたリポジトリを移行先にサブツリーマージする 移行元のリポジトリから履歴を消す 検証した環境の Git のバージョンは 2.39.0 です。

この記事は、Merpay Tech Openness Month 2023 の4日目の記事です。 こんにちは。メルコインのバックエンドエンジニアの@goroです。 はじめに このGitHub Actionsのセキュリティガイドラインは、社内でGithub Actionsの利用に先駆け、社内有志によって検討されました。「GitHub Actionsを使うにあたりどういった点に留意すれば最低限の安全性を確保できるか学習してもらいたい」「定期的に本ドキュメントを見返してもらい自分たちのリポジトリーが安全な状態になっているか点検する際に役立ててもらいたい」という思いに基づいて作成されています。 今回はそんなガイドラインの一部を、社外の方々にも役立つと思い公開することにしました。 ガイドラインにおける目標 このガイドラインは事前に2段階の目標を設定して作成されています。まず第1に「常に達成したいこと

はじめに こんにちは、CTO/DevRelブロックの堀江（@Horie1024）です。ZOZOではGitHub Copilotを全社へ導入しました。本投稿では、GitHub Copilotの導入に際して検討した課題とその課題の解決策としてどのようなアプローチを取ったのかを紹介します。 目次 はじめに 目次 GitHub Copilotとは何か？ GitHub Copilot導入の背景と目的 導入する上での課題 セキュリティ上の懸念 ライセンス侵害のリスク GitHub Copilot for Businessの利用 導入による費用対効果 試験導入による費用対効果の見積もり 試験導入の実施 対象者の選出 アンケートの設計 試験導入の実施 アンケート結果の集計 アンケート結果の考察 費用対効果の見積もり 全社導入の判断 導入決定後のGitHub Copilot利用環境の整備 社内LT会 おまけ

In my role as a Cloud and SRE Practice Lead at Slalom Build, I am fortunate to talk to a wide range of organizations, from smaller mid-market companies all the way to astoundingly large and complex enterprises, all from an equally wide range of industries. There is no doubt about it, Site Reliability Engineering (SRE) is the latest hot topic. These companies are looking to reduce the impact and ri

はじめに こんにちは、計測プラットフォーム開発本部SREブロックの髙木（@TAKAyuki_atkwsk）です。普段はZOZOMATやZOZOGLASS、ZOZOFITなどの計測システムの開発・運用に携わっています。およそ2年ぶりのテックブログ執筆となりました。 さて、今回はCI/CD環境やKubernetesエコシステムのバージョン更新についてRenovateを使って楽しようという話をご紹介します。 CI/CDのワークフローや実行環境、Kubernetesを運用する上で導入するエコシステム1の多くはコード管理されています。そして、これらについてどのバージョンを使うかをコード上で指定することが多いです。しかし、コード化はされているもののバージョン更新まではなかなか手が回らなくなっており、どうにか解消したく取り組んだ話になります。 目次 はじめに 目次 背景や課題 バージョン更新のステップ

はじめに 内海「どうもー ミルクボーイですー」 駒場「お願いしますー」 内海「あーありがとうございますぅー ねっ 今XSS攻撃をいただきましたけどもね」 駒場「こんなん なんぼあっても良いですからね」 内海「ねー あればあるだけ良いですからね　ほんとにね」 駒場「いきなりですけどね うちのオカンがね 好きなセキュリティに関する用語があるらしいんやけど」 内海「あっ そーなんや」 駒場「そのセキュリティに関する用語をちょっと忘れたらしくてね」 内海「好きなセキュリティに関する用語忘れてもうて どないなってんねんそれ」 駒場「でまあ色々聞くんやけどな 全然わからへんねんな」 内海「分からへんの？ ほな俺がね オカンの好きなセキュリティに関する用語 ちょっと一緒に考えてあげるから」 内海「どんな特徴ゆうてたかってのを教えてみてよー」 CORSとは 駒場「あのー Webブラウザ上で異なるオリジン間

AWSを利用している際にVPCやアカウント数が増えてきたり、「AWSと支店などの拠点間をVPN接続したい」となった際にTransit Gateway(以下TGW)を利用することがあると思います。 TGWを利用する際にはAWS公式ドキュメント Transit gateway design best practicesを参考に設計/構築することになるかと思います。 AWS公式ドキュメントでは、TGWをアタッチする各サブネット内にTGWアタッチメント専用サブネット(/28など小さくてOK)を作成することがベストプラクティスとされています。 AWS公式ドキュメント Transit gateway design best practices 抜粋 Use a separate subnet for each transit gateway VPC attachment. For each subne

Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS Transit Gateway 資料及び QA 公開 先日 (2019/11/14) 開催しました AWS Black Belt Online Seminar「 AWS Transit Gateway 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191113 AWS Black Belt Online Seminar AWS Transit Gateway AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. TGW を使う場合、DXGW も一緒に使う必要がありますか？TGW のみでも利用できるのでしょうか？ A. Direct Connect を使う場合は、DXGW を一緒に使う必要があります

Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果

はじめに こんにちは。基幹システム本部・物流開発部の岡本です。普段はZOZO基幹システムのリプレイスを担当しています。 ZOZOではさらなる成長のため、様々なリプレイスプロジェクトが進行しており、これまでにZOZOTOWNやWEARなどのプロダクトにおける多くのリプレイス事例を公開してきました。本記事では、2022年8月より本格始動したZOZO基幹システムリプレイスの第一弾であるZOZOの物流拠点「ZOZOBASE」を支える「発送システムリプレイス」を紹介します。「発送システムリプレイス」は設計を終えた開発段階で、リリースに向けて進行中です。本記事を皮切りに今後も継続的に発信を続けていくので、是非ご注目ください。 現状の「発送システム」は、Classic ASPのトランザクションスクリプトで実装された大規模なモノリス構成のシステムの一部であり、「障害リスク」と「開発速度の低下」に課題を抱え

tl;dr 外部サービスのホスト名の末尾に . (ドット) を必ず指定しましょう。 ✅ google.com. ❌ google.com 末尾にドットを指定できない (e.g. SDK 組み込み) かつ大量の名前解決が発生している場合は、Pod の DNS Config の options で ndots: 1 を指定しましょう。 Kubernetes の名前解決の仕組みを理解していないと、各ノードの conntrack テーブルが溢れてパケットが破棄され、サービスに影響が出ることがあります。 背景 アプリケーションが外部のサービスを呼び出す場合、ホスト名を IP アドレスに変換 (= 名前解決) してから接続するのが一般的です。Kubernetes 上の名前解決には ndots: 5 という魔法がかかっており、それを知らずに運用していると思わぬ障害に繋がることがあります。 Kuberne

EKSを使う際に注意すべきという情報をゲットしたのでまとめます。 Amazon EKS セキュリティのベストプラクティス - Amazon EKS IMDSとは？ ちなみに脆弱性の対象になることも… EKSにおけるIMDS 結局どうすればいい？ 注意事項 IMDSとは？ AWS EC2におけるインスタンスメタデータサービス(Instance Meta Data Service)のこと。 http://169.254.169.254/latest/meta-data/にアクセスすることで、EC2自身のデータなどを取得できる便利な機能です。これを使うことでEC2自体にて、自分がどう言う存在の EC2なのか？を判断させることができます。 AWSだけではなく他のクラウドにもある機能ですね。 Instance metadata and user data - Amazon Elastic Compu

コンバンハ、千葉（幸）です。 突然ですが問題です。 以下の条件があったとします。 同一の AWS アカウントに S3 バケット A と IAM ユーザー A が存在する IAM ユーザー A の Permissions boundary には AWS 管理ポリシーViewOnlyAccessが設定されている ここで、IAM ユーザー A が S3 バケット A に対してPutObjectを実行したいとします。（補足しておくと、ViewOnlyAccessにはPutObjectの Allow は含まれていません。） 以下のうち、アクションの結果について最も適切に説明しているものを選択してください。 IAM ユーザー A の Permissions policy で適切な Allow が設定されていればアクションは成功する S3 バケット A のバケットポリシーで適切な Allow が設定され

Bash は言わずと知れた歴史あるコマンド言語です。テキストにコマンドの羅列を記述するだけで、手軽にシェルスクリプトとして実行することができます。 シェルスクリプトの実体はシェルコマンドの羅列に過ぎませんが、手続き型プログラミング言語にあるような制御構文も備えています。変数や条件分岐、ループ、関数などです。これらを使えばシェルスクリプトでプログラミングも可能です。 もちろん、現代の一般的なプログラミング言語と比べると機能は限られます。他の言語には見られないシェルスクリプト特有の癖や記法も数多くあり、最近の言語に慣れている人ほど、つまずくポイントが多いです。 しかし、シェルスクリプトだからこその良さもあります。Bash は現在でも多くの OS で標準シェルとして採用されており、普段使っているシェルコマンドを書くだけで動かせる手軽さは何者にも代えがたいです。一度身につけておくと長く使えるお得な