[B! EMR] jinjin252525のブックマーク

EMRってなんじゃ？（ImpalaでCloudfrontの爆速ログ集計）

EMRがImpalaをサポートするようになりました。ImpalaはClouderaが提供するオープンソースのクエリエンジンで、Hiveより断然速いそうです。例として、Cloudfrontのログを、タイムスタンプをJSTに直して１時間ごとのアクセス数の集計をしてみます。ログバケットの確認まずCloudFrontのログが以下のS3にたまっているとします。 s3://memorycraft-impala-input/cf/logs EMRクラスタの起動次に、EMRクラスタを起動します。 EMRのダッシュボードで「Create Cluster」をクリックし、新規クラスタ作成画面を表示します。 Cluster Configuration Cluster nameに適当なクラスタ名を入力します。また、今回はEMRのログは出力しないのでLoggingのチェックはOFFなんかにしておきます。起動し

jinjin252525 2014/03/03

リンク

CloudFrontのアクセスログを集計・分析したい！ | DevelopersIO

よく訓練されたアップル信者、都元です。CloudFrontにはDistributionの設定により、アクセスログを出力する機能があります。アクセスログは定期的に *1、gzip圧縮ファイルとして、指定したS3バケットに配信されます。 http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/AccessLogs.html さてこの設定を行いますと、指定したバケットがこんな感じになります。どんな単位で集約されているのかは定かではありませんが、同じ時間帯に複数のファイルがありますね。これでも数が少ない時間帯を選んだのですが。要するに物凄い数のログファイルがガンガン配信されてくるようになります。アクセス数にもよりますが、今回の検証環境では1日あたり1000ファイルほどが配信されました。さて、このログファイルを集計してくだ

jinjin252525 2014/03/03

リンク

AWS Summit Tokyo 2013(1) Redshiftのパフォーマンスと使いどころ - Continuous Ops

AWS Summit Tokyo 2013の中から2セッション、まとめておきたいと思います。1つめはRedshiftに関するセッションです。セッション紹介｜ AWS Summit Tokyo 2013 「Amazon Redshiftが切り開くクラウド・データウェアハウス」私の勤務するAMoAdでは、RedShiftがUS-Eastリージョンで使えるようになって以来注目していて、実際に本番環境で使ってきました。私は中心的にRedshiftをじっくり使ってきたわけではないのですが、運用担当として興味深く聴講しました。 Redshiftの概要エンタープライズシステムにおける活用ノウハウ Amazon Redshiftの取り組みについてクラウド型データウェアハウスオンプレ環境におけるデータウェアハウスの課題・初期投資・運用管理・成長予測・費用対効果 install backu

jinjin252525 2013/10/09

redshift
emr

リンク

ほぼ週刊AWSマイスターシリーズ第10回 – EMR編に参加しました | DevelopersIO

※基本的にRDBMSでもデータ分析は賄える。 ※HadoopでBig Dataではないデータの分析も行えます。もちろんBig Dataの分析は得意 ■Hadoopの課題 Hadoopのスケーラビリティを活かすには大量のサーバーが必要大量にサーバーを購入してしまうとノードの追加縮小が自由にはできないデータをHDFSだけに保存するのはリスク ■Amazon Elastic MapReduce Hadoopをいつでもオンデマンドで利用可能にしたサービス開発者はデータの分析・解析アプリケーションに集中 AWSサービスとの強力なインテグレーション Big Data処理のための煩雑なタスクが不要解析をトライアンドエラーできる ※Elasticity、AWS SDK、Amazon S3連携がポイント！ ■Amazon EMR全体アーキテクチャデータソースから入力データををAmazon S3に保

jinjin252525 2013/10/09

emr
hadoop

リンク

はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO

今回解決したい課題こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す

jinjin252525 2013/09/13

リンク

Amazon Elastic MapReduce入門〜 Apache Mahoutでレコメンデーション！ | DevelopersIO

よく訓練されたアップル信者、都元です。Hadoop使ってますか。試しにHadoopを使ってみよう、と思った時に主に障害となるのが以下の3つです。 Hadoopのクラスタを組むために実機を複数用意するのが厄介。それをクラスタとして組み上げるのも厄介。 Hadoopの上で動かすアプリケーションをMapReduceで書くのが厄介。 Hadoopで処理するほどのビッグデータを用意するのが厄介。 1つ目はAmazon Elastic MapReduce (EMR)を使う事でスマートに解決しましょう。 2つ目については、オープンソースのMapReduceアプリケーションを使います。私が強い興味を持っている分野に「機械学習」というものがあります。機械学習とは、コンピュータにデータを分析させ、未知の情報についての予測をさせたり、人間の知能に近い機能を実現しようという試みです。今回は、この機械学習の各種アル