Amazon RDSからGCP BigQueryへのデータ転送をDataTrasferServiceを使って実現した話 - Qiita
要件 AWSでインフラ構築し運用しているプリケーションのデータを定期的にBigQueryに転送して、BigQuery上でデータ分析をやりたいというニーズがあり、RDSに保存しているデータを転送する機構を構築した。 AWSを利用してるなら、その中でデータ分析もやったらいいじゃないかという意見もあると思うが、ビッグデータの蓄積や解析はBigQueryで実施した方がやりやすいということもあるようで、BigQueryへ転送するニーズが最近は結構ある模様。 今回はGCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceを使って行う 構成図 作成するアプリケーション概要 RDSのデータを定期的にBigQueryへ転送することを実現するアプリケーション RDSの自動で取っているスナップショットデータをS3へ一日一回エクスポート(JST 0:00に実行) https:
ECS Execでトラブルが起きたら、amazon-ecs-exec-checkerを使ってみよう - Qiita
ECS Execは、ECSで稼働しているコンテナに対しコマンドを実行できる仕組みです。 ローカル環境だと出ないエラーが出てしまって、原因がわからない場合や、 VPC内のリソース以外からはRDSへの接続が許可されていない場合に活躍します。 仰々しい名前が付いていますが、独立したサービスではなく、SSMでコンテナに接続する感じです。 AWS CLIが入っていれば、ぜひ試してみてください。 導入方法は下記のドキュメントを御覧ください。 https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/ecs-exec.html さて、ECS Execするための設定なのですが、 簡単そうに見えて、ネットワークなどの設定によっては、一発で繋がらない事もあります。 AWS Execでは色々と隠蔽されているのもあり、トラブルの原因を探るのはなかなか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
