ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。
ジョブ管理システムをAWS Step Functionsに移行する時の勘所
ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。
[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ | DevelopersIO
[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ 柔軟なDistributionの設定変更が難しかったCloudFrontで継続的デプロイがサポートされました。ステージング用Distributionを作成し一定量のリクエストを割り振って動作確認をしたあと、本番環境に昇格させるデプロイが行えます！ はじめに 清水です。AWSのCDNサービスであるAmazon CloudFrontにContinuous Deployment（継続的デプロイ）機能がやってきました！本日（日本時間2022/11/19、現地時間2022/11/18）AWS Blogsにポストされたアップデートについてお届けします！！ Use CloudFront continuous deploymen
![[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/17d6fdb640a27970efada177996eba4546025db8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-cloudfront.png)
[アップデート]AWS BackupがAmazon Auroraに対応しました | DevelopersIO
はじめに こんにちは。大阪オフィスの林です。 2020年6月10日（水）の公式アナウンスにて「Amazon Aurora スナップショットが AWS Backup 経由で管理可能に」と発表がありました。公式ページはこちら ちょうどAuroraのバックアップ設計をしていたので試してみました！ RDS標準のスナップショットじゃダメなの？ まず気になるのはこの疑問かと思います。僕自身はRDSのスナップショットでも構わないと思ってます。 ただし、取得したスナップショットの「リージョン退避要件」がある場合には今後AWS Backupをご利用いただく方が効率的になったりする場合があります。 過去、RDSのスナップショットのリージョン間コピーでバックアップを設計・実装していた時は少々手間な作りこみをしていたようです。（確かに世代管理とかとのあたりの作りこみも考えるとそれなりに大変そうですね。。。） ht
![[アップデート]AWS BackupがAmazon Auroraに対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3ce3207ad57cd861d5c4322ea9ef360f5205213/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-backup.png)
AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠
AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur
RDS管理用アプリ ManageRds【README】 | 優技録
S3のバケット作成 {プロジェクト名}-backup-develop {プロジェクト名}-backup-staging {プロジェクト名}-backup-production IAMの作成 Terraformで作成してください ご参考 variable.tf variable ENV_VALUE_ENVIRONMENT {} variable ENV_VALUE_PROJECT_NAME {} iam.tf # S3へバックアップする為のユーザ resource "aws_iam_user" "s3_sync" { name = "s3-sync-${var.ENV_VALUE_ENVIRONMENT}" # Accessキーの削除・更新ができるようにする force_destroy = true } resource "aws_iam_policy" "s3_sync" { name =
Auroraのパラメータグループの優先順位について実験してみた | DevelopersIO
2020/03/03 実験条件を見直し、加筆修正を行いました。 こんにちは。AWS事業本部のKyoです。 AuroraのDB パラメータグループおよび DB クラスターパラメータグループについて、どちらが優先されるのかイメージしづらかったので、実験してみました。 Auroraのパラメータグループとは Auroraのパラメータグループには以下の二種類が存在します。 DB クラスターパラメータグループ DB パラメータグループ 公式ドキュメントによる定義は以下です。 DB クラスターパラメータグループ DB クラスターパラメータグループのパラメータは、DB クラスター内のすべての DB インスタンスに適用されます。データは、Aurora 共有ストレージサブシステムに保存されます。このため、テーブルデータの物理レイアウトに関連するすべてのパラメータは、Aurora クラスター内のすべての DB
MySQL5.6→5.7のアップデートで意図せぬスロークエリが発生した
何が起きていたのか クエリのTypeがrangeからフルインデックススキャンに変化していた 原因 range_optimizer_max_mem_sizeというパラメータが追加されていた 範囲オプティマイザで使用可能なメモリを制御するには、range_optimizer_max_mem_size システム変数を使用します。 ・値0は、「制限なし」を意味します。 ・0より大きい値を指定すると、オプティマイザは、範囲アクセス方法を検討する際に消費されるメモリを追跡します。指定された制限値を超えそうになると、範囲アクセス方法は放棄され、代わりにテーブルのフルスキャンを含む他の方法が検討されます。これは最適ではない可能性があります。このような場合、次のような警告が発生します（Nは現在のrange_optimizer_max_mem_sizeの値）。 Warning 3170 Memory capa
RDS Aurora の sql_mode がデフォルト値に戻せない | GROUP DEV BLOG | TECHNO DIGITAL
坂東です。 ついさっきたまたま知ったんですけれど、MySQLのパラメーターに「sql_mode」なんてものがあるんですね。 SQL実行時にエラーや挙動の制御をしてくれる結構重要そうなやつ。 MySQL5.7のデフォルトは、 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION ※マイナーバージョンでも変わるみたい・・・ MySQL5.6は sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION RDS Auroraは sql_mode=0 Auroraはデフォルト値「なし」です。 なしってのもあれだけどON
【Aurora】Mysql5.6から5.7へのバージョンアップについて - Qiita
5.7のサポート状況＆予測 RDS5.6ののサポート終了アナウンスから推測するに、 5.7もコミュニティがメンテ終了する2023年10月前後にアナウンスがされる可能性が高いです(5.6のとき同様の猶予期間？猶予延長されるか？は未知数ですが)。 バージョンアップに関して Mysqlのメジャーバージョンアップは段階的に行う必要がある Auroraで5.6を使っているプロダクトは、タイムリミットに向けて動きだす頃合いですね。 Mysqlはメジャーバージョンアップをする際は1つ上のバージョンまでしか上げられません。 つまり、5.6から8.0へいきなり移行はできず、5.6 => 5.7 => 8.0 と段階を踏む必要があります。 5.7に上げ作業が終わり次第すぐに8へ移行することもできなくはないようですが、 その分、移行計画はしっかり立てる必要となります。 Auroraでバージョンアップ時のインフラ
DB クラスタースナップショットの作成 - Amazon Aurora
Amazon RDS は DB クラスターのストレージボリュームのスナップショットを作成し、個々のデータベースだけではなく、その DB クラスター全体をバックアップします。DB クラスターを作成したら、バックアップする DB クラスターを特定してから、DB クラスターに名前を付けて後で復元できるようにする必要があります。DB クラスタースナップショットを作成するためにかかる時間は、データベースのサイズによって異なります。スナップショットにはストレージボリューム全体が含まれているため、一時ファイルなどのファイルのサイズも、スナップショットを作成するための時間に影響します。 自動バックアップとは異なり、手動スナップショットはバックアップ保持期間の影響を受けません。スナップショットは期限切れになりません。 非常に長期間のバックアップの場合、スナップショットデータを Amazon S3 にエクスポ
Dockerfile リファレンス — Docker-docs-ja 24.0 ドキュメント
Docker は Dockerfile から命令を読み込み、自動的にイメージをビルドできます。 Dockerfile はテキストファイルであり、イメージを作り上げるために実行するコマンドライン命令を、すべてこのファイルに含められます。 docker build を実行すると、順次コマンドライン命令を自動化した処理を行い、ビルド結果となるイメージが得られます。 このページでは、 Dockerfile で利用可能なコマンドを説明します。このページを読み終えたら、 Dockerfile の ベストプラクティス を開き、理解を重視するガイドをご覧ください。 使用法¶ docker build コマンドは、 Dockerfile と コンテキスト(context) からイメージを 構築(build) （ビルド）します。構築におけるコンテキストとは、指定された PATH （場所）または URL にある
AWS公式の「Infrastructure as Code 談議 2022」がすごく勉強になったのでまとめてみた - Qiita
この前AWS公式のYouTubeチャンネルにて、面白そうなライブ配信がありました AWSの動画コンテンツといえば、BlackBeltのようなサービス紹介の動画が真っ先に思い浮かぶ方も多いと思います。 自分もその一人ですが、この動画はプロダクトではなく「Infrastructure as Code（IaC）という概念」にフォーカスしたコンテンツです。 Twitterで学びメモを書きましたが、ちゃんと記事として学びをまとめておこうと思います。 また、動画の内容に関連した補足事項を記事の後半にまとめておきました。 ↓動画本編はこちら↓ ↓資料はこちら↓ IaCをなぜ使うのか 純粋にIaCは楽しい、手順書作成は楽しくない リリースのたびに手順書更新 or 新規作成するのは、果たして楽しいのか IaCのほうがリリースまでのリードタイムが短い 運用する上での教育はどうする？ そもそも「教育」はIaCじ
sam-cli-beta-cdkを試してみた
はじめに ある日、TLをぼんやり眺めているとこんな記事が流れて来ました。 初めてみたときは、AWS SAMに目がいってあまり気にしていませんでした。 よくみてみると、これからAWSを触っていくにあたって気になることが書かれていました。 アツい内容 何がすごいのかは、元記事 のこの文に詰まっています。 Before today, you could use the AWS SAM CLI to build locally, test, and package serverless applications defined using AWS CloudFormation or AWS SAM templates. With this preview release, you can use AWS SAM CLI to build, test, and in the future, pack
AWS CDK Pythonで外部ライブラリを含むLambda Function(runtime: python3.7)をデプロイする
AWS CDK Pythonで外部ライブラリを含むLambda Function(runtime: python3.7)をデプロイする AWS SAMでは次のようなファイルを用意し sam build / sam package を実行することでデプロイするための外部ライブラリのダウンロード, zipファイル作成を行ってくれます。 今回はrequirements.txtにslackclientを記述してるので, sam build を実行すると ./.aws-sam/build/MyFunction/ 配下にslackclientをダウンロードしてくれます。 . ├── function │ ├── requirements.txt │ └── lambda_function.py └── template.yaml template.yaml MyFunction: Type:
AWS CDK - Lambda + API Gateway (Python) - Qiita
TypeScriptの事例が多いため、Pythonで試してみた際の備忘録。 概要 Python実装のLambda処理をAPI Gateway経由で公開するサンプル。 感想 TypeScript比較 依存ライブラリはsetup.pyに追記する(npm install --saveと異なり、直接ファイルに記述)。 ビルドのステップがないため、基本操作はサクサク進む(一方で型チェックの弱さはデメリット）。 cdk initで生成されるリポジトリに.gitignoreが含まれない現象に遭遇。以下をベースに別途ファイルを追加(language=typescriptの場合には発生しない模様)。 https://github.com/aws/aws-cdk/blob/m1aster/packages/aws-cdk/lib/init-templates/app/python/.gitignore 全般
お風呂でAWS認定試験を受けて合格した話 - ailes blog
目次 目次 はじめに DOPってどんな試験？ 受験のきっかけ 試験予約から合格までの流れ ピアソンVUEで予約 試験環境の準備 OnVUEにて試験にチェックイン 問題を解く お風呂受験のうまみ・つらみ うまみ つらみ 総論 その他 気付き・注意点 試験ポリシーの詳細 おわりに はじめに AWS認定試験を自宅のお風呂で受験して無事に合格することができました！ 自宅受験は便利ですが、そんなスペースが中々ない、いざ問題が起きたら怖いから躊躇している、という方は多いのではないでしょうか。 そこで、今回はこれから自宅受験を考えている方々の参考になるように予約から試験当日までの流れやお風呂で受けてみて分かったうまみ・つらみ、注意点などを書いていこうと思います。 ちなみに今回、私が受けた試験はDOP(DevOps Engineer - Professional)です。 DOPってどんな試験？ AWS認定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2022_reInvent2022digest_1202_v1.pdf
バッチシステムをクラウドネイティブにするために考えたこと
RDS Aurora MySQL 5.6 -> 5.7 upgrade stalled
GitHub - aws-samples/aws-cdk-examples: Example projects using the AWS CDK
