こんにちは、AI・機械学習チームの苅野です。エムスリーに転職してそろそろ一ヶ月、今日も楽しくコードを書いています。 この記事では仕事の合間に作った Rust 製の CLI を紹介します。AWS Step Functions のステートマシンが途中で実行に失敗した時に何が原因で何回失敗したかを数えることができます。 とあるプロダクトでの Step Functions Run Task 失敗に対応する Step Functions が何でこけたか一目でわかる CLI を作る その前に: Rust で書いてどうだったか dialoguer でターミナルからステートマシンを選ぶ AWS SDK for Rust でステートマシンの一覧や実行履歴を取得する AWS SDK for Rust をテストする AWS SDK for Rust の tips We are hiring! とあるプロダクトで
HCL（Terraformの.tf）ファイルやCUEファイルのシンタックス内の文字列に（prettierなどの）任意のフォーマッタを適用する - Copy/Cut/Paste/Hatena
おそらくTerraformの.tfファイルがイメージしやすいと思いますが、.tfファイルのHCLシンタックス内に別のシンタックス（多くはヒアドキュメントで表現される複数行の文字列）を埋め込むことがあります。 私が真っ先に思い出すのがAWSのPolicyです。 resource "aws_iam_policy" "allow_dynamodb_table_post" { name = "allow_post" policy = <<-EOT { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "${aws_dynamodb_table.post.arn}" } } EOT } 今ではData sourceでaws_iam_policy_document
Introducing an enhanced local IDE experience for AWS Step Functions | Amazon Web Services
AWS Compute Blog Introducing an enhanced local IDE experience for AWS Step Functions This post written by Ben Freiberg, Senior Solutions Architect. AWS Step Functions introduces an enhanced local IDE experience to simplify building state machines. Workflow Studio is now available within Visual Studio Code (VS Code) through the AWS Toolkit extension. With this integration, developers can author and
Markdownで管理できるBIツール "Evidence" を使ってSecurity Hubレポートを作ってみる | DevelopersIO
npm install # added 1287 packages in 21s # # $ npm run sources # # > my-evidence-project@0.0.1 sources # > evidence sources # # ✔ Loading plugins & sources # ----- # [Processing] needful_things # needful_things ⚠ No results returned. # orders ✔ Finished, wrote 10000 rows. # ----- # [INFO]: Evaluated sources, saving manifest # [INFO]: ✅ Done! npm run source # > my-evidence-project@0.0.1 sources # >
Terraformのversion 1.11が2025/2/27にGA(一般提供開始)になりました。新機能3つを紹介します。 write-only attributes が追加された write-only attributesは、1つ前のバージョンであるv1.10で追加されたEphemeral Valuesの一機能です。v1.10の段階で「v1.11でwrite-only attributesを追加する」と告知されており、今回リリースされたv1.11で追加されました。 Ephemeral Valuesについてご存じない方は一度以下をご確認ください。 Terraform 1.10がGAになり、Ephemeral Valuesが使えるようになりました | DevelopersIO Ephemeral Valuesの中のEphemeral resourcesは、いわばData SourceのEp
Bedrock と Claude で「アーキテクチャ図からブログ記事の下書きを生成する」サンプルプロジェクト - kakakakakku blog
Amazon Bedrock と Claude 3 Sonnet を組み合わせて「アップロードしたアーキテクチャ図からブログ記事の下書きを生成する」というサンプルプロジェクトが aws-samples に公開されている❗️（公開されたのは2024年4月頃） シンプルな実装だし，デプロイするのも簡単だから Amazon Bedrock の入門コンテンツとしても使いやすいと思う👏 github.com 仕組み Amazon S3 (Input) に JPEG のアーキテクチャ図をアップロードすると AWS Lambda 関数がトリガーされて，Amazon Bedrock を呼び出す．今回モデルは anthropic.claude-3-sonnet-20240229-v1:0 を使うようになっていた．そして，Amazon Bedrock (Claude 3 Sonnet) から返ってきたブログ
CloudWatch でロググループのサイズを確認する
解決方法 CloudWatch Logs にアップロードされたログイベントの量を非圧縮バイト単位で確認する CloudWatch Logs にアップロードされたログイベントの量を非圧縮バイト単位で確認するには、特定のロググループに IncomingBytes メトリクスを使用します。 次の手順を実行します。 CloudWatch コンソールを開きます。 ナビゲーションペインで [すべてのメトリクス] を選択します。 ロググループごとに、次のタスクを実行します。 ログの名前空間を選択します。 [ログ]、[ロググループメトリクス] の順に選択し、個々の IncomingBytes メトリクスを選択します。 [グラフ化されたメトリクス] タブを選択します。[統計] で [合計] を選択し、[期間] で [30 日] を選択します。 [グラフオプション] タブを選択し、[数値] を選択します。 グ
API Gatewayの耐障害性を考える
はじめに この記事はDevOps on AWS大全の一部です。 DevOps on AWS大全の一覧はこちら。 この記事ではAPI Gatewayを耐障害性の観点から超詳細解説しています。 具体的には以下流れで説明します。 API Gatewayとは API Gatewayを更新するときのダウンタイム API Gatewayのスケーラビリティ AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。 この記事を読んでほしい人 API Gatewayを採用するときのベストプラクティスを説明できるようになりたい人 API Gatewayの耐障害性に不安を感じている人 AWS Certified DevOps Engineer Professionalを目指している人 API Gatewayとは AWS A
GitHub CI/CD実践ガイドの著者の記事を写経してグッドプラクティス11を学び、+1してみる - ENECHANGE Developer Blog
こんにちは、CTO室のldrです。 GitHub CI/CD実践ガイドの著者が提唱するグッドプラクティスを実践し、1つ追加してみました。 グッドプラクティス11 タイムアウトを常に指定する デフォルトシェルでBashのパイプエラーを拾う 「actionlint」ですばやく構文エラーをチェックする Concurrencyで古いワークフローを自動キャンセルする 不要なイベントで起動しないようにフィルタリングする 最安値のUbuntuランナーを優先する GITHUB_TOKENのパーミッションはジョブレベルで定義する アクションはコミットハッシュで固定する Bashトレーシングオプションでログを詳細に出力する workflow_dispatchイベントで楽に動作確認する ワークフローの背景情報をコメントへ書き残す +1 OIDCとAWSSTSを使用した認証を使用する PR作成時にterrafor
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
状況設定 AWS の VPC エンドポイントポリシーで VPC 内部から Amazon S3 バケットへのアクセスを制限するために，以下のようなエンドポイントポリシーを設定するとします。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": "*", "Condition": { "StringEquals": { "aws:PrincipalOrgID": "o-xxxxxxxxxxx" } } } ] } 上記の例では aws:PrincipalOrgID を用いて特定の Organization 配下のバケットに限定していますが，特定のアカウント配下のバケットに限定するなら aws:PrincipalAccount を
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 課題 これまでLambdaを使用する案件に携わってきました。多くの場面で、ソースコードを作成して「デプロイ」をクリックすることで反映させ、テストを行い、問題がなければ対応完了とする流れを目にしてきました。（＊） 確かにこの方法は間違ってはいませんが、最適とは言えません。 メリット 対応が迅速に行える デメリット ソースコードの変更履歴が確認できない 簡単に修正できてしまう うっかり変更してしまった場合、気付きにくく、インシデントが発生しやすい デプロイ方法の提案 Lambda VersionとLambda Aliasを使います。 上記（
Markdownで管理できるBIツール "Evidence" を使ってSecurity Hubレポートを作ってみる | DevelopersIO
npm install # added 1287 packages in 21s # # $ npm run sources # # > my-evidence-project@0.0.1 sources # > evidence sources # # ✔ Loading plugins & sources # ----- # [Processing] needful_things # needful_things ⚠ No results returned. # orders ✔ Finished, wrote 10000 rows. # ----- # [INFO]: Evaluated sources, saving manifest # [INFO]: ✅ Done! npm run source # > my-evidence-project@0.0.1 sources # >
こちらの記事の続きとなります。 tech.nri-net.com 本シリーズのトップページはこちら！！ tech.nri-net.com 本記事では、メッセージに応じたニュース通知機能のインフラ部分の設定をお話ししていきます。 LINEとAWS間の通信 ALB ターゲットグループ セキュリティグループ リスナー・リスナールール Route53 & AWS Certificate Manager Route53でホストゾーン作成 ネームサーバーの変更 Aレコードの作成 証明書の発行 LINE Bot サーバー構築 Amazon ECS コンテナ起動・停止切り替えバッチ AWS Lambda & EventBridge 本機能におけるアーキテクチャは以下の通りです。 LINEとAWS間の通信 LINE Botサーバーを構築する前に、まずLINEユーザーとAWS間の通信環境を整えていきましょう。
はじめに 近年、機械学習を使ったアプリケーションの需要が高まっており、Kubernetes と GPU を組み合わせて使うパターンが多く存在します。その中で問題となることの 1 つが、コンテナイメージのサイズが大きくなることです。コンテナイメージのサイズが大きくなると、コンテナレジストリへの Push や Pull にかかる時間が増加し、コンテナの起動時間も長くなります。これらは結果的に、ワークロードの起動時間の増加につながります。起動時間の増加は、開発中の試行錯誤のサイクルの効率を下げ、開発者にとって大きな負担となります。 コンテナイメージを Pull する時間を削減するための方法として、Google Cloud のマネージド Kubernetes である GKE では、イメージストリーミングという機能が提供されています。これによって、コンテナイメージの Pull 時間を削減することがで
CDK PipelineのソースにGitHubを接続してみた(CodeConnections編) | DevelopersIO
あしざわです。 CDK Pipeline のソースにGitHub リポジトリを設定する機会がありました。 GitHub との接続方法は以下の2種類あります。 GitHub アクセストークンを利用したOAuth 認証 AWS Connector for GitHub を経由したCodeConnections による接続 前者はトークンの管理が必要になるため、今回のケースでは後者を選びました。 このブログでは、CDK Pipelines のソースにGitHub リポジトリを設定する流れを順を追って紹介します。 CDKについてはそこまで深く触れないので、CDK をある程度触れたことがある人向けの説明となっています、ご了承ください。 概要 CDK Pipelines は、CDK アプリケーションの継続的デリバリーを簡単にデプロイできるコンストラクトライブラリです。 CloudFormation を
CloudWatch GetMetricData でリクエストされているメトリクス内訳を CloudTrailログから把握する | DevelopersIO
とある環境にて CloudWatchメトリクス取得の料金( GetMetricData )を最適化しようとしています。 以下のように継続的にコストになっています。 この環境では Datadog のAWS統合(インテグレーション) を導入しています。 AWS統合により CloudWatchメトリクスが収集されるのですが、これがコストとなっています。 このコストを抑えたいのですが、少し情報が足りません。 実際に「 どの名前空間(やメトリクス) にリクエストがされているのか 」、内訳を知りたいです。 悩んでいたところ以下ブログにて GetMetricData ログを取得できるようになったと知りました。 「これを使って調査しよう」、と思い立って本ブログを書きました。 とりあえずGetMetricDataログを取ってみる CloudTrailデータイベントを有効化して GetMetricDataログ
こんにちは！クラウド事業本部コンサルティング部のたかくに（@takakuni_）です。 皆さんは AWS のサービス規約を、ご覧になったことはありますでしょうか？ いくつかの AWS で提供される AI サービスには、サービス向上のために AWS 側で収集したデータを利用できる権利を有するものがあります。該当するリソースは、サービス規約からご覧ください。（たとえば、Amazon Q Developer の無料利用枠 [1] などが挙げられます。） ただし、利用者側は上記の権利を Organizations の AI サービスのオプトアウトポリシー、 利用する IDE のオプトアウト設定、該当するサービスごとに用意されているオプトアウトメカニズム等を利用することで、オプトアウトできます。 50.3. You agree and instruct that for Amazon CodeGur
ECR上のコンテナイメージを脆弱性スキャンするGitLabCI/CDを構築してみた | DevelopersIO
お疲れさまです。とーちです。 AWS ECR（Elastic Container Registry）にプッシュされたコンテナイメージを脆弱性スキャンするパイプラインをGitLab CI/CDで構築してみました。 ECRにイメージがプッシュされるとEventBridgeを通じてGitLabのパイプラインがトリガーされ、Sysdig CLI Scannerを使って脆弱性スキャンを実行します。スキャンに合格したイメージだけを「検証済みリポジトリ」に転送する仕組みです。 この記事ではGitLab CI/CDのワークフローファイルの説明を中心に紹介します。 前提条件 今回は以下の環境で実装したので、前提として記載しておきます。 GitLabのバージョン: GitLab Community Edition 17.6 GitLabのホスティング: セルフホステッド環境（社内GitLab） GitLab
CI/CD（継続的インテグレーションおよび継続的デリバリー）は、ソフトウェア開発においてコードの品質とデリバリー速度を向上させるための重要な手法です。CIはコードの変更を自動的にビルド、テストし、早期にフィードバックを得るプロセスです。CDはCIの成果物を自動的にデプロイし、常にデリバリー可能な状態を維持することを目的としています。これにより、開発者はコードの変更が即座に反映され、エラーを早期に発見・修正できます。 TerraformとGitHub Actionsを使用することで、インフラストラクチャの管理とデプロイメントプロセスを自動化できます。Terraformはインフラストラクチャをコードとして管理し、GitHub ActionsはCI/CDの自動化ワークフローを提供します。これにより、インフラの変更をコードとして管理し、プルリクエスト（PR）やブランチのマージに応じて自動的にデプロ
GitHub Enterprise Cloudの監査ログをS3にストリーミングして永続化しAthenaで検索してみた | DevelopersIO
GitHub Enterprise Cloudの監査ログ(Audit Log)は180日まで保持され、Gitイベントに関しては7日まで保持されます。 監査やトラブルシュートのために監査ログをAmazon S3に保存して永続化し、Amazon AthenaでSQL検索できるようにする方法を紹介します。 一度Amazon AthenaでS3監査ログのテーブル定義をしてしまえば、AWSにアクセスできるユーザーだれもが、SQLで監査ログを検索できるようになります。また、Athenaはフルマネージドのサーバーレスサービスのため、S3ストレージ以外に固定費も発生しません。 構築方法 1. AWS 側のデータ連携設定 データ連携のために、AWS側には以下の3リソースを作成します ログ・ファイル保存先のS3バケット GitHubとAWS間のOpenID Connect認証(AWS Identity Pro
こんにちは！クラウド事業本部コンサルティング部のたかくに（@takakuni_）です。 Amazon Bedrock で Claude 3.7 Sonnet モデルが利用可能になりました。 モデルの特徴 まずは Claude 3.7 Sonnet が、どういったものなのかキャッチアップします。 ハイブリッド推論モデル Claude 3.7 Sonnet は、ハイブリッド推論モデルとして、標準思考モードと拡張思考モードの 2 つのモードを提供します。標準思考モードは Claude 3.5 Sonnet モデルの改良版とされ、拡張思考モードでは、問題を詳細に分析、解決策の計画、応答前に複数の視点を考慮して回答します。 今までの「モデルごとに得意不得意があるため使い分けていきましょう。」の考えに対して、Anthropic では 1つのモデルの統合された機能の中で、切り替えていくのがフロンティアモ
本記事は ブログ書き初めウィーク 8日目②の記事です。 📝 8日目① ▶▶ 本記事 ▶▶ 9日目 📅 本記事は、こちらの記事の続きとなっております。 tech.nri-net.com 前提条件 全体構成図 ニュース定期通知機能 AWS Lambda IAMロール Lambdaレイヤー S3 EventBridge 宣伝と次回予告 では、実際に開発を始めていきましょう。 前提条件 以下の説明は省略させていただきます。 LINE DevelopersでのChannel作成済み LINE Messaging APIでChannelアクセストークンとシークレットキーは発行済み VPC、サブネット(今回はパブリック)、ルートテーブル、インターネットゲートウェイ作成済み GitHub登録済み お名前.comでドメイン発行済み 全体構成図 本システムの全体構成図は以下の通りです。 アーキテクチャ図
Amazon Data Firehose データストリームを Apache Iceberg 形式のテーブル配信機能を試す！ | DevelopersIO
Amazon Data Firehose データストリームを Apache Iceberg 形式のテーブル配信機能を試す！ AWS事業本部コンサルティング部の石川です。先日、Amazon Data Firehoseは、Amazon S3 の Apache Iceberg テーブルにデータストリームを配信できるようになりました。ETLなしでIceberg 形式のテーブルに配信できるなんてすごい！ということで、早速試してみます！ Apache Iceberg 形式のテーブルとは Iceberg形式のテーブルは、大規模なデータレイク向けに設計されたオープンソースのテーブルフォーマットです。ACIDトランザクションのサポート、スキーマ進化、隠しパーティション、タイムトラベルなどといった、DBのストレージレイヤ管理をS3ファイルで提供します。 そのため、Amazon Athena、AWS Glue、
はじめに あの若干面倒なAWS LambdaのLayersをGithubActionsで自動更新するプロセスを組みましたので参考にしていただければ!!（備忘録も兼ねて） また、本記事内ではアクセスキーとシークレットキーを使った認証ではなく、OIDC認証で実施していますので以下の記事を参考にしていただければ問題ないかと思います。 前提 Python Pipenv環境 Lambda関数を作成済み Layersも紐づけ済み（設定オプション的に紐づけもコマンドで行けそうか？要検証） 本体 お急ぎの方もいるかと思いますので先にymlを貼っておきます。 name: Layer Update on: push: branches: - main paths: - "Pipfile" env: REGION_NAME: your-region FUNCTION_NAME: 対象のfuntion_name
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rust で作る Step Functions が何でこけたかわかる君 - エムスリーテックブログ
Terraform 1.11がGAになりました | DevelopersIO
オフライン ラブ | Netflix (ネットフリックス) 公式サイト
VPC エンドポイントポリシーで S3 バケットを制限する際の落とし穴
皆さんはLambda を最適にデプロイしているか？ - Qiita
インフラ編Part2 ～ECS＋ALBで実現するLINE Botサーバー構築 - NRIネットコムBlog
soci-snapshotter によるコンテナの起動時間削減について | sreake.com | 株式会社スリーシェイク
AI サービスのオプトアウトポリシーを OU に適用してみた | DevelopersIO
TerraformとGitHub Actionsを使ってCI/CDを実現するための基本ガイド | 株式会社一創
Amazon Bedrock で Claude 3.7 Sonnet モデルが利用可能になりました | DevelopersIO
インフラ編Part1 ～ニュース定期通知機能～ - NRIネットコムBlog
AWS Lambda Layersを自動更新するGitHub Actions - Qiita