BigQuery・Glue・S3・QuickSightの連携 - Qiita
今回は、FirebaseAnalyticsからBigQueryにエクスポートしたデータをQuickSight上で、表形式で閲覧したいという要件を実現するための過程を記事にしました。 以前書いたこの記事の続きみたいな感じです。 なぜ、BigQueryのデータをわざわざQuickSightで見ようとするかというと、BigQuery上のデータとRDSのDBデータをガッチャンこして見たいという要件があり、少し回りくどく見えるような構成になっています。 要件を実現するための構成はこれ以外にも案はあると思いますが、考えた結果、これが最適と考えた末なので、何かいい案をお持ちの方がいれば優しく教えて欲しいです。（ここには出てこない隠れた要件も色々あるので最適な構成を考えるのはかなり難しかったです。） BigQuery・Glue・S3の連携について それぞれのツールについての概要の公式記事は以下です。 Bi
【AWS】SSMを用いたシステム管理とデータ分析 - Qiita
はじめに この記事は、AWS Innovateの[H-2] システム管理で使えるデータ分析ハンズオン：システム構成情報の収集と可視化についての記事です。 SSMやQuickSightを利用してサーバレスなシステム管理・分析できる仕組みについてハンズオンを行います。 EC2等を新規で立ち上げる必要があるので、ハンズオン用のアカウントを取得する方がいいかもしれません。 SSMとは AWS Systems Managerの略です。 AWS Systems Manager は、AWS でインフラストラクチャを表示および制御するために使用できる AWS のサービスです。Systems Manager コンソールを使用すると、複数の AWS のサービスのオペレーションデータを表示して、AWS リソース間でオペレーションタスクを自動化することができます。Systems Manager は、マネージドイン
AWS Athena + QuickSightでS3に蓄積されたCSVデータを可視化 - Qiita
やりたい事 サービスの統計情報を取得するために、データベースの登録状況をバッチ処理でCSVに落として保存している運用をされている方は結構いらっしゃるのではと思います。そのS3データを簡単に可視化する方法として、AWS AthenaとQuickSightを利用してみました。 Amazon S3 内のデータを標準 SQL を使用して簡単に分析できるようになります。Athenaを利用の流れは以下のような形になります。 1.S3にバケットを作成して、分析したいCSVファイルを置く 2.AWS Athenaのコンソールでデータベースの作成 3.AWS Athenaのコンソールでテーブルを作成する 4.作成したデータベースに対して、SQLのクエリを発行して必要な情報のみ取得する。 SQLのクエリはPresto 0.172 に基づいていますので、通常のSQL文とは差分がありますので、注意が必要です。 h
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
