【AWS】用語を整理しながら学ぶAWS Amazon Athena - Qiita
はじめに この記事では AWSが提供するAmazon Athena(以下、Athena)を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど） 誤りなどがあれば書き直していく予定です。 Athenaとは何なのか 簡単に1行で表現すると AthenaはSQL を使用した S3 でのデータクエリと表現されています。 公式では以下のように説明されています。 Amazon Athena は、オープンソースフレームワーク上に構築されたサーバーレスのインタラクティブな分析サービスで、オープンテーブルとファイル形式をサポートしています。Athena は、ペタバイト規模のデータが存在する場所で分析するための簡素化された柔軟な方法を提供します。Amazon Simple Storage Service (S3) データレイクと 25 以上のデータソース (オンプレ
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
個人的AWS ログ管理のベースライン - mazyu36の日記
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
【初心者向け】AWS Athena の 使い方 - Qiita
はじめに この記事は初めてAWS Athenaを利用するユーザーを対象にしております。 はじめてAWS Athenaを使う人のチュートリアルのようなものになれば幸いです。 AWS Athenaって何？ 概要 簡単に言うと、AWSが提供するフルマネージドサービスで、S3にあるデータファイルに対してクエリを実行することの出来るサービスになります。 つまり、S3(オブジェクトストレージ)にデータ(csvやparquet)を配置してしまえば、それだけでそのデータの分析を始められることができます。フルマネージドサービスなのでサーバーの管理は不要ですし、データをRDBにインポートさせる手間も必要ありません。 料金 スキャンされたデータ 1 TB あたり 5USD (2019年7月13日 東京リージョン) これのみです。クエリを実行した分だけ料金が発生します。 1ドル=107円換算で1GBあたり約0.5
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
