ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ
![[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75550513d830c21b153b85859fb4fdabd295d23d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fsecurity-identity_Compliance.png)
歴史・年表でみるAWSサービス(AWS Systems Manager編) －機能一覧・概要・アップデートのまとめ・SSM入門－ - NRIネットコムBlog
小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 AWS Systems Manager歴史年表の作成経緯と方法 AWS Systems Manager歴史年表(2014年10月29日～2021年12月31日までのアップデート) AWS System
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
【週刊 Ask An Expert #06】AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #06】AWS Loft Tokyo で受けた質問まとめ #AWSLoft 皆さんこんにちは。 Startup Solutions Architect の松田です。週刊 Ask An Expert も６回目となりました。毎回幅広い内容をお届けしておりますが、「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けて拡散して頂ければと思います。もちろん、改善点・要望もお待ちしております。 今回も先週 Ask An Expert に寄せられた質問を振り返り、私達と知見を共有していきましょう！ Here we go !! Ask An Expert？ さて、皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア17Fにある、AWS を利用中のスタートアップとデ
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functions をテストするには実際の AWS リソースのエンドポイントを叩く必要がありました。Step Functions Local ではローカル環境で Lambda などのサービスのレスポンスをモックすることで完全に隔離された環境で Step Functions の動作確認を行うことができます。 本記事の大まかな流れ SAM のサンプルプロジェクトを Pull Docker 環境でテストを実行
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio
2020年10月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020/11/05 Update 配信のアーカイブがあがっています。 Monthly AWS Serverless update 2020/11 2020年10月のリリース 10月は割と大きめのアップデートがありました。 AWS AppSync が AWS WAF のサポートを追加 待望の人も多いんじゃないでしょうか。AWS AppSyncがAWS WAFに対応しました。少し前に質問でもいただいてましたね これまでWAFを使うのが難しかったので泣く泣くAppSyncを諦めてた人には朗報かと思います Amazon SNS を使用して SMS を送信するアプリケーションが新しい 5 つのリージョンでホスティング可能になりました。 SMSによる
CloudNativeがここまで進化するとインスタンスの仮想化技術をベースとしたシステムなど使いたくなくなってしまいます。 私は新たにシステムを構築する際、必ずServerless Firstの考え方で設計をしていきます。 その中でAWS Lambda、Amazon DynamoDBを中心にMicroservicesの設計をしていくのですが、 ACIDの部分をどう対処するかが一番悩むところです。 今回はServeice間のTransactionに関する話を自分なりに整理していきたいと思います。 図1 Saga Design Pattern Sagaは複数のサービスにまたがるトランザクションを実装するためのマイクロサービスアーキテクチャパターンです。 複数のマイクロサービス間でデータ一貫性を実現するもので、Sagaには２つのパターンがあります。 1. Choreography-based S
AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装（AWS CDK）を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前：2022-09-02 置換後：2022/09/02 この場合は置換対象の文字列-が特定数（今回は2つ）含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 lib/aws-cdk-app-stack.ts import
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた Control Tower上でよく初期セットアップとして利用される機能をStepFunctionsからまとめて実行する仕組みをCDKで実装してみました。 リポジトリはこちら。あくまでサンプルなので、ご利用の環境に合わせてカスタマイズしながらご利用ください。 前提 Control Tower有効化済み Security HubのOrganizations統合で新規アカウントの自動有効化が設定されている 構成 EventBridgeでControl Towerのアカウント発行イベント(ライフサイクルイベント)を取得して、ターゲットとして指定したステートマシンを実行します。 ステートマシン内はLambdaが複数タスクとして定義されていて、各Lambda内で新規アカウン
![[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1486b2da4d87633e58aebde2114c02dc06f61935/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-control-tower.png)
最近の砂場活動その5: AWS Step Functionsで機械学習のワークフローの管理をする - yasuhisa's blog
はてなブログのHTTPS配信をやっていた同僚からAWS Step Functionsはいいぞ!というのを教えてもらいました(発表資料)。機械学習のワークフロー管理にもこれは便利そうだなーと思って、自分でも試してみました。やってる内容はN番煎じです...。 機械学習とワークフローの管理 機械学習のワークフローをStep Functionsで管理する AWS Step Functionsのモニタリング AWS Step Functionsの類似ツール 機械学習とワークフローの管理 状態を持つワークフローの管理、機械学習でも難しいので悩むところですね。例えば データの取得 前処理 特徴量の生成 モデルの学習 検証データに対する精度をトラッキングできるように記録 S3等に学習済みのモデルファイルを配置 新しいデータに対して予測を行なう 全てが終わったらslackに通知 などがぱっと上げられますが、
AWS Step Functionsでジョブ・ステータス・ポーリングを実装する | DevelopersIO
AWS Step Functionsを使ってAWS Batchのジョブをキューイング→ジョブステータスをポーリング→ジョブ終了までを管理するジョブ・ステータス・ポーラーを10分でプロビジョンするチュートリアルが追加されていたため、実際にやってみました。 ステートマシン Lambda で AWS Batch ジョブをキューイングし、ジョブのステータスが完了系になるまでポーリングします。 ポーリング間隔は Wait ステートを利用します。 やってみた 以下の手順でサンプルプロジェクトを実行します。 タスクタイマーをプロビジョン 後片付け 1. タスクタイマーをプロビジョン Step Function のダッシュボードから ”Create a state machine”を選択します Sample Projects -> Job Status Poller を選択し、"Create Sample
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS Systems Manager Automation ＆ Amazon EventBridge編) - NRIネットコムBlog
小西秀和です。 AI技術の急速な進化に伴い、従来の業務プロセスを見直す必要性が高まっています。 特に、多段階承認フローのあり方について、新しい視点からアプローチしたいと考え、この記事を執筆しました。 これまで多段階承認フローは、しばしば冗長で効率が悪いと批判されてきました。しかし同時に、専門知識や権限を持つ人間が最終判断を下す重要な場でもあります。 そこで私は次のような理由から、将来的に生成AIを多段階承認フローに組み込むことを見据え、AWS Step Functionsを活用した多段階承認フローシステムを試作してみました。 APIを介して承認フローをシステム化することで、人間と生成AIの間で意思決定プロセスを柔軟に切り替えられる 初期段階では人間が承認を行い、生成AIの能力が十分と判断された場合に段階的にAIへ移行できる 生成AIの判断に不安がある場合や、最終確認が必要な場合は、人間が承
AWS Step Functions実践：スポットインスタンス入札を自動化してみた #reinvent | DevelopersIO
こんにちは、菊池です。 AWS re:Invent 2016で発表された『AWS Step Functions』は、Lambdaで実装した処理をうまく連携させることができます。 Step Fanctions と Lambda を使ってスポットインスタンスの自動入札を試してみましたので紹介します。 やりたいこと スポットインスタンスの入札をして起動できればOK、起動できなかった場合にはオンデマンドインスタンスを起動する。 スポットインスタンスのリクエスト 入札処理を待つ 入札結果を確認 落札NG -> 4.へ 落札OK -> 5.へ オンデマンドでインスタンスを作成 結果をAmazon SNSへ通知 ユースケースとして、 日次で起動するEC2インスタンスを、スポットインスタンスで安価に起動したい。 けど起動できないのは困るので、落札できなければオンデマンドインスタンスで起動する。 といった処
[AWS Step Functions] ステートマシンが無限ループして148ドルも課金が発生した話 | DevelopersIO
懺悔します こんにちは、のんピ(@non____97)です。 私はここに「ステートマシンを無限ループさせて148ドルも課金が発生してしまった」ことを懺悔します。 いきなりまとめ 検証だからといって雑なEventBridgeのイベントパターンを設定するのはやめよう 何が起こったか ステートマシンが無限ループして148ドルも課金が発生しました。 ここで、クラスメソッドメンバーズ向けポータルサイト「クラスメソッド メンバーズポータル」で、AWS利用料金を確認してみましょう。 まずは明細です。 $148.67のインパクトが凄まじいですね。 USE1-StateTransitionとAPN1-StateTransitionについての課金が大半を占めています。AWS Step FunctionsのStandardワークフローではステートマシンの状態遷移によって課金が発生します。 今回はus-east-
Serverless FrameworkのStep Functions用プラグインでState LanguageをYAMLで記述する #reinvent | DevelopersIO
Serverless FrameworkのStep Functions用プラグインでState LanguageをYAMLで記述する #reinvent はじめに こんにちは、中山です。 昨日feedlyを眺めていたらかなり便利そうなツールを発見したのでご紹介したいと思います。Serverless FrameworkでStep Functionsを実行するプラグインがリリースされました！最高。作者の方が書かれたQiitaエントリとプラグインのGitHubリポジトリは以下の通りです。 Serverless FrameworkでStep Functionsが使えるプラグインをリリースしました horike37/serverless-step-functions このプラグインを利用することで以下のことができます。かなり便利そうです。この冬はこれで決まり感がありますね。最高！ Step Func
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit | DevelopersIO
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit こんにちは、佐伯です。 AWS Summit Tokyo 2019 Day3に行われたセッション「クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン」のレポートを書きましたのでご覧頂ければと思います。 セッション概要 オンプレミスのシステムを単純にクラウドへ移行するだけではクラウドの様々なメリットを享受することはできません。このセッションではクラウドネイティブなモダンアプリケーションの開発について、AWSの各種サービスをアプリケーションブロックとして利用するアプリケーション構成やAWSの各種サービスを利用したCI/CDの実現についてアーキテクトやデベロッパーの観点で解説します。 セッションレポート
この記事はうるる Advent Calendar 2019 17日目の記事です。 はじめに この記事では、私が働いている会社、株式会社うるるで運営しているサービス幼稚園・保育園向け写真販売サービス えんフォトにおいて、写真アップロードの速度を爆速にするためにAWSのServerlessアーキテクチャを導入したお話をします。 サービスの内容や、導入に至った経緯などもお話ししたいところですが 話がとても長くなってしまいそうなので、アーキテクチャ導入にあたって考えたことや、細かい処理の説明にのみフォーカスし、記事を書きたいと思います。 ※社内のエンジニア向けにLTした際のスライドも活用していますのでご了承ください。 対象の読者 AWS(特にサーバーレス)について興味がある人/これから学びたいと思っている人 画像のアップロード速度に困っている人 画像を扱うサービスの開発を担当している人 注意点 か
Serverless Patterns
Jimmy Dahlqvist for AWS Community Builders Posted on Feb 5, 2023 • Updated on Mar 7, 2023 There are a couple of architecture patterns that I tend to use over and over again when I build new solutions. In this post I will give an overview why I use them and how I implement them in a serverless, and often event-driven, way on AWS. Storage-First Storage-First is one of the patterns I use the most. I
Step Functionsの開発がVSCodeで完結！？AWS ToolkitでStep Functionsがサポートされました | DevelopersIO
環境 Visual Studio Code Version … 1.43.2 AWS Toolkit Version … 1.8.0 前提 本エントリではAWS Toolkitのインストール等を割愛していますので、以下が前提となります。 AWS Toolkitのインストール AWS 認証情報のセットアップ AWS Step Functions の IAM ロールを作成する やってみた ステートマシン定義 VSCodeのコマンドパレットにてAWS: Create a new Step Functions state machineを選択します。 AWS Toolkitにて用意されたテンプレートが表示されます。ここではHello worldを選択します。 Pass、Choiceなどのステートを含んだテンプレートが作成されます。VSCode上のStep Functionsのアイコン（Render
[AWS CDK] AWS CDK Intro Workshop for Java #reinvent | DevelopersIO
はじめに 今年のre:Inventで個人的にとても楽しかったセッションのデモがAWS CDKです。 すでにドキュメント AWS Cloud Development Kit - Docsが公開されていますが、まだDeveloper Preview版であるが故に以下の文言が強調して記述されています。 Do not use this version of the AWS CDK in production. まだまだ破壊的変更が入るから、本番でまだ使うんじゃねえぞという開発側の強い意思を感じます。 個人的にはこれは 今後来ると思う、いや来てくれるはず、むしろ絶対来てほしい、という気持ちなので、是が非でも応援していきたい所存。お願い開発チーム！ CloudFormationはCloudのインフラリソースをjsonやyamlに記述し、コードで管理することができます。そのためInfrastractur
![[AWS CDK] AWS CDK Intro Workshop for Java #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a38d6669553637acd970ab2bf1753160acf0bec1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F12%2Fd76cb7f994be49fe4d1a3db390cdcc15.jpg)
Step Functions LocalとLocalStackを利用してローカル開発環境を構築してみた | DevelopersIO
Step Functionsがローカル環境で実行できるようになりました！！Step Functions LocalのDockerイメージと、LocalStackのDockerイメージを起動させ、その上のLambda、DynamoDBに接続するワークフローを試してみたいと思います。 こんにちは、坂巻です。 Step Functionsがローカル環境で実行できるようになりました！！ AWS Step Functions ワークフローをローカルで開発してテストする Step Functionsファンとして早速試してみたいと思います！ Step Functions Localは、JARパッケージと、Dockerイメージが用意されていますが、今回はDockerイメージを利用したいと思います。また、併せてローカル環境にLocalStackを起動させ、その上のLambda、DynamoDBに接続するワー
AWS Step Functionsを定期的に実行するLambda関数をServerless Frameworkでデプロイする #reinvent | DevelopersIO
AWS Step Functionsを定期的に実行するLambda関数をServerless Frameworkでデプロイする #reinvent はじめに 2017年2月16日追記 API Gateway経由でStep Functionsが呼び出せるようになったようです。 2017年4月1日追記 AWSのアップデートによりCloudWatch EventsでStep Functionsを呼び出せるようになりました。 こんにちは、中山です。 AWS re:Invent 2016で発表されたAWS Step Functions。複数のAWSリソースをまとめてビジュアライズなワークフローで管理できる大変便利なサービスです。ただし現時点(2016/12/18)ではこのStep FunctionsをAWS上の何らかのイベント経由で実行することはサポートされていません。自分自身で呼び出す必要がありま
builderscon tokyo 2018に参加して丸2日間色んな技術を学んできた - 背筋を伸ばしてスタートアップするブログ
buildersconというカンファレンスに参加してきました。 builderscon.io 2018/09/07(金)〜2018/09/08(土)の2日間で開催されていましたが、両日ともためになる内容が沢山聞けて個人的にとても充実したカンファレンスでしたでした。この記事では2日間で受けた全てのセッションのメモを残そうと思います。 Kubernetesで実現するインフラの自動構築パイプライン builderscon.io Kubernetes で実現するインフラ自動構築パイプライン from Yusuke Nojima cybouzのインフラ 物理サーバー1,000台以上 インフラのためのPythonコード100,000以上 よくある自動化の流れ 人が手でオペレーションする オペレーションの回数が増えてくる（辛い） 手順をPythonスクリプトにして自動化 スクリプトを実行するための前提条
StepFunctions の Waitステートによる Lambda の遅延実行 | DevelopersIO
渡辺です。 こういった小技、意外と検索しても出てこないですね。 一定時間または特定日時に処理を実行したい Lambdaを 定期実行 するには、cronのように設定できる CloudWatch Eventsが便利です。 一方、 特定時間後 、もしくは 特定日時 に 1回だけ Lambdaを実行したいこともあります。 例えば、注文を受けて一定時間後に自動キャンセル、ブログの時限投稿などです。 このようなユースケースでは、Step Functions の Waitステートがベストです。 Wait ステート Step FunctionsのWait ステートは、名前の通り、待機状態を作るステートです。 実行がWait ステートの時、料金は一切かかりません（厳密には状態遷移に料金はかかるが、1,000 回の状態遷移あたり 0.025 USD）。 待機時間は、最大で約1年待機することができます（厳密には
新たに始めるMonthly AWS Serverless Updateの第一回です。 こちらのイベントです。 serverless-newworld.connpass.com 今後も月1でやっていこうとは思っているものの、どんなフォーマットでやるのがいいか、そもそもライブでやるより録画のほうがいいのではないかなどありますが、手探りでやっていきたいと思います。フィードバック募集中。 9月のリリース AWS Step Functions はペイロードサイズを 256KB に増加 Amazon SNS を使用して SMS テキストメッセージを送信するアプリケーションが米国西部 (北カリフォルニア) でホスト可能に API Gateway HTTP API が Lambda および IAM 承認オプションのサポートを開始 REST APIで使えたLambdaオーソライザとIAMオーソライザがHTT
The workshop covers the primary features of AWS Step Functions. Slack Channel: #the-step-functions-workshop
Step FunctionsからLambda関数を実行したい場合、ASL(Amazon State Languageの略。ステートマシンの実装をこの形式で書く)の書き方が2つあります。この違いを調べました。 方法1: Resourceに関数のARNを直接書く { "StartAt":"CallLambda", "States":{ "CallLambda":{ "Type":"Task", "Resource":"arn:aws:lambda:ap-northeast-1:123456789012:function:MyFunction", "End":true } } } 方法2: Parameters.FunctionNameに関数名を書く。Resourceは arn:aws:states:::lambda:invoke 固定 { "StartAt":"CallLambda", "St
AWS Step Functionsの入門にピッタリ？ AWS公式のセルフスタイル・ワークショップが公開されました！ | DevelopersIO
みなさん、こんにちは！ 福岡オフィスの青柳です。 GUIベースの操作で様々なワークフローを作成できるAWSのサービスが「AWS Step Functions」です。 今回、このStep Functionsの入門にピッタリなAWS公式の「ワークショップ」が公開されました。 The AWS Step Functions Workshop https://catalog.workshops.aws/stepfunctions/en-US/ AWSのイベント等で開催されるワークショップで使われることを想定したコンテンツのようですが、自分のAWSアカウント環境を使って「自習」することもできるようになっています。 私自身あまりStep Functionsを触ったことがなかったので、この機会に「ワークショップ」でStep Functionsに入門してみました。 ワークショップの構成 最初に「Introd
こんにちは、CX事業本部 IoT事業部の若槻です。 AWS CDKは、書き慣れた言語でAWSリソースのIaCを構成できるAWSサービスです。 What is the AWS CDK? - AWS Cloud Development Kit (CDK) このAWS CDKでアプリケーションを構築する際に、目的単位やリソース種別単位でCDKスタックを複数使用することがよくあるのですが、その際にスタック間でリソースのパラメーター（リソース名やArnなど）を参照させたい（クロススタック参照）場合があります。 そこで今回は、AWS CDKでクロススタック参照をする方法を確認してみました。 方法 スタックAwsCdkStateMachineStackで作成したステートマシンのArnを、もう一方のスタックAwsCdkAppStackで参照したい場合の実装で確認してみます。 参照される側のスタック クロス
[アップデート] SAM CLI で AWS へデプロイされた Lambda 関数を実行出来る sam remote invoke コマンドが利用可能になりました | DevelopersIO
[アップデート] SAM CLI で AWS へデプロイされた Lambda 関数を実行出来る sam remote invoke コマンドが利用可能になりました いわさです。 昨日こちらの記事に関して検証する中で AWS SAM のドキュメントを眺めていたのですが、SAM CLI で新しいコマンドsam remote invokeが使えるようになったというアップデート履歴があることに気が付きました。 たしかに 2 日前に SAM CLI の最新バージョン v1.88.0 がリリースされており、新機能が含まれていました。 feat: Make remote invoke command available 早速ローカルの SAM CLI をバージョンアップし新しい機能を試してみました。 % sam --version SAM CLI, version 1.88.0 sam remote i
![[アップデート] SAM CLI で AWS へデプロイされた Lambda 関数を実行出来る sam remote invoke コマンドが利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7820c671d7f88b5036e549f9c82a7bf436592926/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2Faws-sam.png)
2023年7月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 7月は71本のピックアップになりました。7月7日は創立記念日で大量にブログが量産されましたし、DevelopersIO 2023のイベントが全国を回り沢山の資料や動画が共有されていますので合わせてチェックしてください。
アプリケーションの処理内容を考慮せず、Step Functionsで重複実行を抑止するなら...といった内容です。 何らかのトリガーによって定期的に処理が呼びだしされるものの、実行中の場合はスキップしたい...EventBridge（CloudWatch Events）から複数回起動される可能性をなくしたい...そんなことがあると思います。 そうした要件には、冪等性を確保するなど処理を行うアプリケーション側で対応していることが多いかと思います。 今回は、何らかの理由でアプリケーションの改修が行えないかつ、該当の処理はStep Functionsにて呼び出しされていることを前提として、重複実行を許容しないステートマシンを作成してみました。 制限のある前提のため、利用できるケースは限られるかと思いますが、こういうやり方もあるか〜程度に、参考にしていただけれと思います。 実装 Lambda Fu
AWS上にマラソンマッチ用のジャッジ環境を作った - yunix_kyopro’s blog
背景 システムの概要 CDKやその他のコード テスト実行結果 コスト 他のアイデア Lambdaのメモリに関する実験など LambdaのメモリとCPUに関する仕様 Lambdaに割り当てるメモリ量を変えながら実験 不満ポイント ※この記事は包括的な解説というよりは、同じようなことをやろうとした人へのインプットになればいいかなと思っています。C++のソースコード用に書きましたが、少し手を入れれば他の言語でも使えると思います。 AWSを触ったことがない人向けには書いていないです。すいません... <7/23追記> Lambdaのメモリと処理能力について理解があやふやだったので検証した記録を残しました。メモリは1.8GBくらいにするのが良さそうです。 <8/20追記> 実際にコンテストで使ってみたところ、この構成だと不満が多かったです。それに関するレポートを書きました。 <11/7追記> 実際に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO
AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
Monthly AWS Serverless Update 202010 - Sweet Escape
Serverless Microservices - Saga Transaction - Qiita
【Serverless】写真のアップロード速度を爆速にした話 - Qiita
Monthly AWS Serverless Update 202009 - Sweet Escape
The AWS Step Functions Workshop
Step FunctionsからLambda関数を実行する書き方2つの違い | DevelopersIO
AWS CDKでクロススタック参照をしてみた | DevelopersIO
重複実行を許容しないステートマシンを構築してみた | DevelopersIO