はてなブックマーク

はじめに GitHub Actions (GHA)、便利ですよね。 便利なんですが、たまに「え、そんな仕様だっけ？」みたいなワナに遭遇します。そして毎回忘れてワナにハマってしまいます。 今後そんなワナにハマって時間を無駄にしないよう、ワナ仕様について網羅していきます。 対象読者 GitHub Actions を使い倒したい方 割と大きめな規模の GitHub Actions を構成している方 初級編 run を複数行で書くときの記法 GHA というか YAML の記法です。いきなり GHA から外れてすみません 💦 が、よく忘れるので覚えておくと助かります。以下の 2 種類を覚えておけば、ほとんどの場合事足りると思います。 | は改行を改行として実行する

2023-10-01T00:00:00.000Z 3a1e28ee-19ba-3ae8-3af1-2a2ae2cf1a2b Task timed out after 300.49 seconds Lambda を実装する上では冪等性が重要で、このようにタイムアウトが発生したとしても次に開始される処理には影響がないようにすることが求められます。が、場合によっては上記のタイムアウト時の仕様が困ったことになる場合があります。当社で Lambda を使った処理を実装している上でも、Lambda 内のある処理がされないうちにタイムアウト時間に到達してしまうことで、運用上想定していない挙動が発生してしまうことがあり、頭を悩ませていました。 Lambda を graceful にシャットダウンさせたい Python にはデコレータ[1]という概念があり、これを使うことで関数の前後に任意の処理を追加するこ

はじめに こんにちは、シンプルフォームでインフラエンジニアをやっている入江 純 (@jirtosterone) です。 シンプルフォームでは以前からインフラコストの削減に取り組んでいます。以下は、実際に効果を発揮している施策の一例です。 【AWS コスト最適化】ECR コンテナイメージの定期削除 【AWS コスト最適化】開発環境の不使用時間帯シャットダウン 【AWS コスト最適化】マルチアカウントでの Route 53 集約 本記事では、その削減施策の一つである VPC エンドポイントの削除についてご紹介します。なお、本記事でいう VPC エンドポイントは課金対象となる「インターフェースエンドポイント」を対象としています。無料で使える「ゲートウェイエンドポイント (S3, DynamoDB アクセス用)」は対象としていません。 対象読者 AWS ネットワークの基礎を理解されている方 AWS

当社では複数の SaaS プロダクトを開発・稼働するための環境として、主に AWS を利用しています。AWS 等のシステムにかかるコスト構造を正確に把握することは、プロダクト原価の算定や適正なプライシングを行う上で非常に重要です。 今回、カスタム定義のコストカテゴリ体系を各種 AWS リソースにかかるコストに適用し、継続的にモニタリングするための仕組みを構築してみたので、本記事ではその内容についてご紹介したいと思います。 概要 まず、実装を試みたコストカテゴリ設計の考え方について説明します。 次に AWS Cost Categories で実装する際の課題感に触れた後、今回利用する AWS Cost and Usage Report (CUR) について紹介します。 コストカテゴリ設計 コストカテゴリのレベルとして、以下の 3 つを定義しました。 Level-1 ... プロダクト原価を構

シンプルフォーム株式会社で SRE をしている守屋です。 本記事では Aurora MySQL の OOM(メモリ不足)エラーについて、原因となるクエリを特定するために役立つ Tips を弊社での実例を交えてご紹介します。 発端 突如 Slack に鳴り響く不吉な通知。 「パターン青！障害です！！」 どうやら本番環境の Aurora クラスターがフェイルオーバーしてアプリケーションが DB コネクションエラーを引き起こした模様です。幸いインスタンスは冗長化していて Aurora のフェイルオーバーは高速であるため、ユーザー目線では瞬断が発生した程度の比較的影響が小さめな障害に留まりました。しかし SRE としては捨ておけない状況です！早速原因の調査を始めました。 フェイルオーバーの原因 結論から言うとメモリ使用量がスパイクして OOM エラーが発生したことが原因でした。根拠としては Aur

はじめに GitHub Actions (GHA) 、便利ですね。 便利なんですが、動作確認するのに PR 出してマージするのが煩わしい...。そもそも PR する前に動作確認しておきたいし、やたらに PR 作りたくもない...。 そんな悩みを解消してくれるのが act でした。これならローカルで動作確認できるので GHA 開発が捗ります！！ act 使ってみた記事は沢山ありますが、動かすまでに詰まったポイントをお作法として整理 してみました。act の使い方に悩まれている方の参考になれば幸いです。 2024/5/8 追記 act の実行に IAM ロールに追加設定が必要な点を追記しました。 AssumeRole するために sts:TagSession 権限を付与する 対象読者 GitHub Actions を使っている / 使おうとしている方 GitHub Actions の動作確認に

こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま

シンプルフォームでエンジニアをやっている 中山@h7kayama と申します。 本記事は SimpleForm Advent Calendar 2023 の 19 日目の記事です。 本日は、最近実施したパフォーマンス改善の話をしたいと思います。 背景 ある日、CS メンバから弊社サービスの管理画面が激重で業務に支障をきたしているという報告を受けました。 前々から管理画面が重くなっているという事象は把握していたものの、なかなか優先度が上がらず後回しになっている状況でしたが、これはヤバいと思い、パフォーマンス改善に着手しました。 原因調査 NewRelic を確認したところ、特定のエンドポイントで数秒〜数十秒掛かっている状況でした。 NewRelic 上で対象のエンドポイントのトレースを確認したところ、DB のアクセスで36秒も掛かっていました。 対象のクエリのプロファイリングを確認したところ

シンプルフォーム CTO の小間 (@hkomachi) です。 本記事は SimpleForm Advent Calendar 2023 の２日目です。 大 AI 時代の技術開発戦略 最近の AI 技術革命により、ChatGPT に代表される LLM（Large Language Model: 大規模言語モデル）が普及し、いわゆる AI の民主化が進んでいます。これにより、機械学習についての低レイヤーな知見がなくても世界最高レベルの AI を活用した機能の開発や PoC を迅速に推進できるようになりました。先日の OpenAI DevDay と Microsoft Ignite での発表も衝撃的であり、AI による可能性が日々急速に広がっています。 このようなジェットコースターに乗っているかのような急速な時代変化の中で、私達が取ろうとしている技術開発戦略は大きく3つあります。 戦略 Ⅰ

こんにちは。エンジニアチームの山岸 (@yamagishihrd) です。 今回は、Secrets Manager シークレットや SSM パラメータのような機密情報を含むリソースを、sops を使って安全に Terraform (Terragrunt) 管理する方法について紹介します。 Terragrunt については別エントリでも書いているので、併せてご覧頂ければと思います。 背景 シンプルフォームでは、クラウドリソースの IaC ツールとして Terraform (+Terragrunt) を利用しています。 一方、DB アクセス情報などアプリケーションが利用するシークレット情報を Secrets Manager で管理していますが、シークレットに含まれる値はもちろん機密情報を含むため平文で Git 管理できず、シークレット値については Terraform 化が出来ていませんでした。

こんにちは。エンジニアチームの山岸 (@yamagishihrd) です。 シンプルフォームではクラウドリソースのデプロイツールとして Terraform を利用していますが、運用面でいくつか課題があったため、検討の末 Terragrunt を導入することにしました。今回は、Terragrunt の概要や基本的な使い方について紹介します。 はじめに 想定読者 Terraform の利用経験はあるが、Terragrunt は初心者という方 利用するバージョン 本記事で利用する Terraform, Terragrunt のバージョンは以下の通りです。 Terraform ... 1.3.1 Terragrunt ... 0.39.2 サンプルコード 本記事で使用するサンプルコードを、以下に公開しています。 roki18d / terragrunt-example - GitHub Terra