Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
Amazon API Gateway で AWS Service Proxy を使って DynamoDB にアクセスする | DevelopersIO
Amazon API Gateway の Service Proxy Amazon API Gateway (以下 API Gateway) は、API を簡単に作成、公開、保守、監視、保護できるサービスです。ある機能にアクセスするための、アプリケーションの玄関として振舞うような API を作成することができます。 API Gateway では、公開する API が呼び出されたときの接続先の種別 (Integration type) を下記の4つの中から設定することができます。 Lambda function : Lambda function の呼び出し HTTP Proxy : HTTP エンドポイントへのリクエスト Mock Integration : モック化 AWS Service Proxy : AWS の各種サービスの呼び出し このうち「AWS Service Proxy」を
マッピングテンプレートについて - Amazon API Gateway
API Gateway では、API のメソッドリクエストまたはレスポンスは、統合リクエストまたはレスポンスとは異なる形式のペイロードを受け取ることができます。 データを次のように変換できます。 ペイロードを API 指定の形式に一致させます。 API のリクエストおよびレスポンスパラメータとステータスコードを上書きします。 クライアントが選択したレスポンスヘッダーを返します。 HTTP プロキシまたは AWS のサービスプロキシのメソッドリクエストにパスパラメータ、クエリ文字列パラメータ、またはヘッダーパラメータを関連付けます。 Amazon DynamoDB や Lambda 関数などの AWS のサービス、または HTTP エンドポイントとの統合を使用して送信するデータを選択します。 データを変換するには、マッピングテンプレートを使用できます。マッピングテンプレートは、Velocit
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Swagger Editor
