Amazon Athenaの超詳細解説 - Qiita
はじめに この記事はDevOps on AWS大全の一部です。 DevOps on AWS大全の一覧はこちら。 この記事ではAmazon Athenaに関連する内容を超詳細にまとめています。 具体的には以下流れで説明します。 Amazon Athenaとは Amazon Athenaの活用 Amazon Athena for Advance Amazon Athenaのベストプラクティス AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。 この記事を読んでほしい人 Amazon Athenaがどういうサービスか説明できるようになりたい人 Amazon Athenaを採用するときのベストプラクティスを説明できるようになりたい人 AWS Certified DevOps Engineer Profe
【初心者向け】AWS Athena の 使い方 - Qiita
はじめに この記事は初めてAWS Athenaを利用するユーザーを対象にしております。 はじめてAWS Athenaを使う人のチュートリアルのようなものになれば幸いです。 AWS Athenaって何？ 概要 簡単に言うと、AWSが提供するフルマネージドサービスで、S3にあるデータファイルに対してクエリを実行することの出来るサービスになります。 つまり、S3(オブジェクトストレージ)にデータ(csvやparquet)を配置してしまえば、それだけでそのデータの分析を始められることができます。フルマネージドサービスなのでサーバーの管理は不要ですし、データをRDBにインポートさせる手間も必要ありません。 料金 スキャンされたデータ 1 TB あたり 5USD (2019年7月13日 東京リージョン) これのみです。クエリを実行した分だけ料金が発生します。 1ドル=107円換算で1GBあたり約0.5
AWS Solutions Architect ブログ
[AWS Black Belt Onine Seminar] Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説 こんにちは、パートナーソリューションアーキテクト（PSA)の相澤です。 先日開催致しました AWS Black Belt Online Seminar 「Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。 今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。 Q1. Redshift Spectrum と Athenaの違い（使い分け）はなんですか？ A1. サービスの選択はどのようなワークロ
Amazon Athena ワークロード分離やクエリの閲覧、コスト管理が可能になるWorkgroups がリリースされました | DevelopersIO
Amazon Athena ワークロード分離やクエリの閲覧、コスト管理が可能になるWorkgroups がリリースされました これまでは、同じアカウント内の全てのIAMユーザーがすべてクエリ履歴を参照ことが出来たり、クエリのデータスキャンに対して上限を設定できませんでした。今後は『Workgroups』という仮想的なグループを作ることによって分離・設定・コスト管理ができるようになりました。 はじめに re:Invent2018で発表があった Amazon Athena Workgroups がついにリリースされました。これまでは、同じアカウント内の全てのIAMユーザーがすべてクエリ履歴を参照ことが出来たり、クエリのデータスキャンに対して上限を設定できませんでした。今後は『Workgroups』という仮想的なグループを作ることによって分離・設定・コスト管理ができるようになりました。 Athe
AthenaのCTAS (CREATE TABLE AS SELECT) でETLをするTips - Qiita
はじめに この記事はAWS Advent Calendar 2018の3日目の記事です。 今年の10月にAthenaがCTAS(CREATE TABLE AS SELECT)をサポートしました。 CTASサポート以前のAthenaではクエリの結果を無圧縮のCSVでしか残せなかったのですが、CTASを使うと結果を列指向やJSONなどのフォーマットにしたうえ圧縮をかけて残せるようになりました。 これによりAthenaを使ったデータ加工の芽が出たのでいくつかのデータ加工バッチをAthenaでできるか検討しました。 この記事ではAthenaのCTASを使ったバッチを作る際のTipsについて紹介します。 前提 AthenaでETLしたい理由 AthenaはETL無しでS3のデータに直接分析をかけれるよ、というコンセプトを謳っており、現状ETLをするために設計されたサービスな訳ではないように感じていま
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
