はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWSのデータベースサービスには多様な選択肢があり、ワークロードに応じて最適なサービスを選択する必要がありますが、一定の知識が無いとどれを選択すべきか分かりません。本記事では、AWS Summit Tokyo 2019 における AWS におけるデータベースの選択指針 - YouTube というセッションをベースに、AWSの各データベースサービスについて概要を理解し、データベース選択のガイドラインを説明したいと思います。 データベースの歴史 リレーショナルデータベース 1970年代後半〜1990年代前半にOracleやDB2(

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Amazon Athena を利用する前に理解すべき基礎について、【AWS Black Belt Online Seminar】Amazon Athena - YouTube を参考にまとめました。 Amazon Athena とは S3 上のデータに対して、標準SQL によるインタラクティブなクエリを投げてデータ分析をできるサービス。特徴については下記参照。 サーバレスでインフラ管理必要無し 大規模データに対しても高速なクエリ 事前のデータロードなしに S3 に直接クエリ スキャンしたデータに対しての従量課金 JDBC /

背景 大きいデータセットのアドホック分析を AWS Athena で行うにあたり、csv データをApache Parquet 形式に変換することでスキャンデータを小さくすることによりコスト削減ができます。 Parquet 形式への変換はいくつか方法がありますが、今回は Python を使って行います。 ファイルを圧縮し、さらに Apache Parquet などの列形式に変換した場合、サイズは 3 分の 1 に圧縮され、Amazon S3 でのデータは最終的に 1 TB になります。ただしこの場合、Parquet は列形式なので、Amazon Athena で読み取る必要があるのは、実行されているクエリに関連する列のみです。当該のクエリは 1 つの列のみを参照するものであるため、Athena ではその列のみが読み取られ、ファイルの 3 分の 2 は読み取らなくてよいことになります。Ath

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 最近 AWS 認定ソリューリョンアーキテクトアソシエイト(SAA)の資格を取得しました。取得スコアは867、合格に必要なスコアは720だったので、悪くない点数が取れたかと思います。 勉強法については、Qiitaやブログなどを参考にしました。 例えば AWS認定11冠制覇したのでオススメの勉強法などをまとめてみる など参考になる記事はたくさんあり、おすすめ通りの勉強を1ヶ月ほど行いました。具体的には 合格対策 AWS認定ソリューションアーキテクト －アソシエイト を読みつつ、知識が足りない部分に関しては BlackBelt、ドキュメントを読み込みました。 ある程度知識がついたので模擬試験を受けましたが問題数は25問のみだったので、間違えた問題を復習しても本番には少し不安が残っていました。 そこで、ネット上でSAAの問題がたくさん解けるサービスがないかと探していたところ、Whizla

AWS東京リージョンで発生したシステム障害について、普段AWSに触れることがない人でも理解できるようにまとめてみました。アップデートがあり次第更新予定です。 8/25 障害の詳細についてのAWSからのメッセージを追記 8/28 追加の障害報告についてのAWSからのメッセージを追記 起こった事象 AWSの東京リージョンにおける単一アベイラビリティゾーン(AZ)に存在する一部のEC2、EBS、RDSにおいて接続できない問題が発生しました。また当該事象が起こったタイミングでAWSのマネジメントコンソール(管理操作画面)への接続もしづらい状況が続きました。 リージョン、アベイラビリティゾーンについて AWSクラウドは現在22の地理的リージョンにある69のアベイラビリティゾーンで運用されています。例えば、米国東部（バージニア北部）リージョンやアジアパシフィック (シンガポール)などが存在します。そし

はじめに AWS VPC(仮想プライベートクラウド)では、次の3つの機能を使ってセキュリティを強化するが、セキュリティグループとネットワーク ACLの違いがわかりづらいため、違いについてまとめました。 セキュリティグループ ネットワークアクセスコントロールリスト (ACL) フローフラグ セキュリティグループ ステートフルなファイアウォールのこと。デフォルトで許可されているのは同じセキュリティグループ内通信のみ（外からの通信は禁止）。そのため例えば、WEB公開する場合はインターネット(0.0.0.0/0)から80ポートを許可する。 ネットワーク ACL ステートレスなファイアウォールのこと。サブネット単位で適用され、デフォルトでは全ての送信元IPを許可する。 ※ 前後の状態に依存しないのがステートレス(stateless)で、前後の状態を保持しているのがステートフル(stateful)とい