Very cool らしい AthenaCLI を試してみたら、やっぱりクールだった件 | DevelopersIO
はじめに Very cool らしい AthenaCLI を見つけてしまったので、早速試してみたいと思います。 Very cool: AthenaCLI - Command line interface to Amazon Athena - https://t.co/YAlghX2Upo (found on Awesome AWS - https://t.co/GaoWeC9Ntq) pic.twitter.com/abA2J8eMaO — Jeff Barr ☁️ (@jeffbarr) October 18, 2018 導入 インストール インストールした環境は、macOS High Sierra / バージョン10.13.6、python3.6です。dbcli/athenacliに書いてあるとおり、pipでインストールします。 $ pip install athenacli Coll
S3のアップロードイベントでAWS Athenaのパーティションを設定してみた | DevelopersIO
はじめに DI部のおおたきです。AWS Athenaを使う際にS3上のファイル数が多くなるようならパーテションの機能は必須です。 S3にHiveフォーマットのパスでアップロードされていればパーテションの設定は不要ですがそうでない場合もあると思います。 その場合はアップロードされたパスに対してalter tableでパーテションを追加する必要があります。 パーテションについてはこちらの記事に詳しく記載があるので参照してください。 そこで今回、S3にファイルがアップロードされたイベントをトリガーにAWS Lambdaでパーテションを設定するプログラムを書いてみました。 実装してみる Athenaへのアクセスは発表当初はjdbc接続に対応していましたが、現在はpythonのboto3からも接続可能となっています。そのため今回はpythonで実装してみました。 まず、アップロードするファイルのS3
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
現場で運用する視点から見た Amazon Athena - Qiita
個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
AWS Solutions Architect ブログ
こんにちは、SAの舟崎です。 2017/10/25に開催されましたオンラインハンズオン「Amazon Athena 初心者向けハンズオン」の資料が公開されました。当日参加者の皆様から頂いたQAと合わせてご紹介いたします。 Q: 列思考フォーマット＆圧縮、のスライド(p17)の「圧縮」とはファイル圧縮という意味でしょうか？それとも情報の圧縮という意味でしょうか？ A: こちらはファイルの圧縮という意味になります． Q:パーティションの例で、S3パスを「/year=2016/month=04/day=01/」という形式にしてましたが、「/2016/04/01/」という形式のパスには適用できないのでしょうか？ A: こちらの形でも適用可能です．以下の公式ドキュメントをご確認ください http://docs.aws.amazon.com/athena/latest/ug/partitions.ht
Amazon Athenaのパーティションを理解する #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaを利用する上で重要になってくるパーティションについて書きたいと思います。 パーティションの重要性 Athenaでパーティションを指定することで、各クエリで特定の領域に対するスキャンを実行できるようになります。例えば、S3上のデータがs3://applog/YYYY/MM/DD/HHのような形でS3へ保存するとします。 パーティションを指定することで、検索時に特定の日付配下のデータだけスキャンすることができるので、パフォーマンスが向上します。また、スキャンするデータ量も減るため、コストも削減できます。 パーティションを設定する パーティションを設定するには、テーブル作成時にPARTITIONED BYを指定して分割するキーを指定します。パーティションを追加する場合、以下の2つのシナリオがあります。 S3上に格納されているデータが既にHiveフォ
実用的なALBアクセスログ用のAthenaDDL - Qiita
リクエストURIの部分をHTTPメソッド、ホスト名、パス、QueryStringに分割しました。 Athenaの?の認識が怪しかったので、\?ですむところをわざわざ[?]にしたりしています。 CREATE EXTERNAL TABLE IF NOT EXISTS table_name ( type string, request_timestamp string, elb_name string, client_addr string, client_port int, target_addrport string, target_addr string, target_port int, request_processing_time double, target_processing_time double, response_processing_time double, elb_s
Kinesis Firehose、Athena、QuickSightを利用したデータ集積基盤の構築 - Speee DEVELOPER BLOG
Speee開発基盤部、兼ヌリカエエンジニアの森岡です。 2017年6月2日に行われたJAWS-UG勉強会【AWS Summit Tokyo 2017】にて、弊社Speeeより hatappi と私が発表させて頂きました。 私が発表した内容はKinesis Firehose, Athena, QuickSightを使って、データ集積基盤を作る。というものです。スライドはこちらになります。 speakerdeck.com 今回は、この発表内容について、補足情報を追加してお話をさせて頂きます。 Kinesis Firehose、Athena、QuickSightを利用したデータ可視化ツールの１つの実装例として見て頂ければと思います。 最初に 弊社Speeeでは、ヌリカエという外壁塗装の一括見積もりサービスを運用しています。 外壁塗装を望まれているお客様にヒアリングを行い、お客様の状況に合わせて適
GCE BigQuery vs AWS Redshift vs AWS Athena - gab.lc
Updates 7/20/17 update Following Tino Tereshko's advice (he is Big Data Lead at Google Cloud Office of CTO), I added the metrics for BigQuery standard SQL and re-calculated the data loading time (from Google Cloud Storage to BigQuery) following their recent optimizations. 7/6/17 update With Joe Harris' help (he is a Redshift Database Engineer at AWS), I measured the performance of an optimized sch
【祝】Amazon Athena が東京リージョンにやってきました | DevelopersIO
おはようございます。藤本です。 本日、うれしいアップデートがありました。ついに Amazon Athena が東京リージョンにやってきました。東京リージョンリリースを待っていた方も多いのではないでしょうか？ Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo) Amazon Athena Amazon Athena は S3 にある CSV、JSONなどのテキストファイルから SQL によってデータの抽出や集計を行えるサービスです。弊社ブログでも色々なことを試していますので是非ご覧ください。 Athena – 特集カテゴリー – 東京リージョンにやってきたことで何が嬉しい？ 今までは US、ヨーロッパの 4リージョンでサービス提供されていました。Amazon Athena は別
Private Presentation
Private content!This content has been marked as private by the uploader.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
