タグ

分析と設定に関するlocke-009のブックマーク (2)

  • 【AWS】用語を整理しながら学ぶAWS Amazon Athena - Qiita

    はじめに この記事では AWSが提供するAmazon Athena(以下、Athena)を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。(忘れやすいことなど) 誤りなどがあれば書き直していく予定です。 Athenaとは何なのか 簡単に1行で表現すると AthenaはSQL を使用した S3 でのデータクエリと表現されています。 公式では以下のように説明されています。 Amazon Athena は、オープンソースフレームワーク上に構築されたサーバーレスのインタラクティブな分析サービスで、オープンテーブルとファイル形式をサポートしています。Athena は、ペタバイト規模のデータが存在する場所で分析するための簡素化された柔軟な方法を提供します。Amazon Simple Storage Service (S3) データレイクと 25 以上のデータソース (オンプレ

    【AWS】用語を整理しながら学ぶAWS Amazon Athena - Qiita
  • AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ

    エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3

    AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
  • 1