RDSのスナップショット一覧を100個以上取得する(LambdaのPython編) - 技術周りのあれこれ
RDSスナップショットを取得するのに、 describe_db_snapshots() をすると100個までしかデフォルトでは取得できません。 もし手動でスナップショットを取得して100個以上になった場合は、 describe_db_snapshots() をする際に"Marker"という値が発行されるので、そいつを引数として渡してやる必要があります。 今回はLambdaを使って発動するように作ります。 言語はPythonです。 ※取得部分だけ記載します。 # 100個の生データを取得します。 rds = boto3.client('rds') row_snps = rds.describe_db_snapshots() # スナップショット一覧のみ取り出します。 snapshots = row_snps['DBSnapshots'] # 生データを取得した項目にMarkerのキーがあれば
AWS Glueを用いてETL環境を構築したお話（RDS for MySQL → S3） - コネヒト開発者ブログ
はじめに こんにちは。2019年3月にMLエンジニアとしてJOINした野澤（@takapy0210）です。 最近はThe Mentalistという海外ドラマにお熱です。犯罪コンサルタントとして活躍する主人公の歯に衣着せぬ物言いやテンポの良さなど、見ていて爽快ですし一つ一つの作品が短いので気軽に楽しめます。（心理学に興味があると楽しさ倍増です） 前置きが長くなりましたが、初めてコネヒト開発者ブログに登場です。テンポ良くいきたいと思いますので、どうぞよろしくお願いします！ 今回は機械学習基盤アップデートの一環としてAWS Glueを用いてETLしてみた話について、苦労したポイントなどを中心にお話できればと思います。 はじめに 導入背景 結論 AWS Glueとは 言葉の定義について 構築したアーキテクチャ 構築手順 構築する際のポイント Glueには自己参照ルールが必要だった件 RDS for
RDSを自動停止・自動起動する - Qiita
RDSの自動停止と自動起動の設定方法。 CloudWatchEvent と SSMAutomation を利用します。 他にも「lambdaを使って特定のタグがついた全てのインスタンスの停止APIを呼び出す」みたいなのがありますが、こちらはインスタンスIDを指定するだけで設定できます。 ポリシーの作成 実行用のポリシーとロールの作成が必要です。 すでにある場合は イベントルールの作成 までスキップしてください。 IAM > ポリシー > ポリシーの作成 をクリック RDSに対するアクセス許可 サービス で「RDS」を選択 「rds」を入力するとすぐに出てくる アクション で「StartDBInstance」と「StopDBInstance」を選択 「start」「stop」を入力するとすぐに出てくる リソース で「このアカウント内のいずれか」にチェックを入れる SNSに対するアクセス許可
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
