タグ

集計に関するsh2nm0k2のブックマーク (2)

  • Amazon CloudFront のアクセスログを大規模に分析する | Amazon Web Services

    Amazon Web Services ブログ Amazon CloudFront のアクセスログを大規模に分析する 多くの AWS の顧客が、グローバルなコンテンツ配信ネットワーク (CDN) サービスである Amazon CloudFront を使用しています。低いレイテンシーと高い転送速度で、ウェブサイト、動画、API 操作をブラウザやクライアントに配信します。 Amazon CloudFront は、キャッシングまたはウェブアプリケーションファイアウォールによって、大量の負荷や悪意のあるリクエストからバックエンドを保護します。その結果、バックエンドに届くのはすべてのリクエストのごく一部になります。Amazon Simple Storage Service (S3) へのすべてのリクエストの詳細情報とともにアクセスログを保存するように Amazon CloudFront を設定するこ

    Amazon CloudFront のアクセスログを大規模に分析する | Amazon Web Services
  • CloudFrontのアクセスログを高速に集計する - Qiita

    CloudFrontのアクセスログ集計 サービスを構築するときにCDNであるCloudFrontを前面においてインフラ構築することが多いと思います。 この構成の場合、全てのアクセスはCloudFrontを経由するため、 CloudFrontのログ解析が極めて重要になります。(アクセスログがCloudFrontに集約される) AWS Athenaを使うことで出力されたアクセスログファイルに対してSQLでのデータ集計が可能になります。 Athenaに関してパーティショニングがほぼ必須なのですが、 CloudFront+Athenaのパーティショニング構成に関して今ひとつまとまっている情報がなかったので この記事にまとめておきます。 次図のような構成を想定しています。 CloudFrontにてアクセスログファイルをS3バケットに格納するように設定します。 この例の場合、S3のlogs-cloud

    CloudFrontのアクセスログを高速に集計する - Qiita
  • 1