はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO
今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す
Amazon S3 での IAM の機能 - Amazon Simple Storage Service
Amazon S3 およびその他の AWS サービスがほとんどの IAM 機能との連携する方法の詳細については、「IAM ユーザーガイド」の「IAM と連携する AWS サービス」を参照してください。 S3 リソースタイプ別の S3 API オペレーションへのアクセス許可の詳細については、「Amazon S3 API オペレーションに必要なアクセス許可」を参照してください。 Amazon S3 のアイデンティティベースのポリシー アイデンティティベースのポリシーのサポート: あり アイデンティティベースポリシーは、IAM ユーザーグループ、ユーザーのグループ、ロールなど、アイデンティティにアタッチできる JSON 許可ポリシードキュメントです。これらのポリシーは、ユーザーとロールが実行できるアクション、リソース、および条件をコントロールします。アイデンティティベースのポリシーを作成する方法
PaperclipでAmazon S3 Tokyo Regionに画像をアップロードする | ひたすらメモするだけのブログ
You are here: Home / 2012 / 4月 / 11 / PaperclipでAmazon S3 Tokyo Regionに画像をアップロードする PaperclipでAmazon S3に画像をアップロード方法について、まとめてある最近の記事がなかったので、記録しました。Paperclipの最新バージョンでは改変することなくTokyo Regionにもアップロードすることができるようになっています。 Amazon S3でのBucketの作成などは完了しているものとします。 Gemfileへpaperclip, aws-s3, aws-sdkを追加し、bundle installを実行します。 Gemfile 2012年4月11日時点においては、gemで取得するpaperclipの最新バージョンは3.0.1であったのですが、3.0.1にはS3について既知の問題があったため、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS re: Invent STG 303: Building Scalable Applications on Amazon Simple Storage Service
