s3fsでAmazon S3をLinuxサーバにマウントする - QiitaHelp us understand the problem. What are the problem?
Lambda + S3 で、CloudWatch Logsのログをログローテーションする - Qiita
🔷 はじめに AWSの各種プロダクトのログは、CloudWatchに出力する事ができます。 そして、CloudWatchに出力したログは、手動でS3にエクスポートする事もできます。 しかし、S3に自動でログローテーションする機能はありません。（2018年12月時点） そこで、今回は、ログローテーションをLambdaで実現したいと思います。 🔷 作業手順 今回は、CloudWatchのログを日次処理でS3にエクスポートする処理を行う、Lambda関数を作成します。 作業手順は大きく3つになります。 1. S3のバケットを作成する。 2. CloudWatch LogsのログをS3にエクスポートする処理を行う、Lambda関数を作成する。 3. CloudWatch Eventsで、Lambda関数が日次処理で実行するように設定する。 🔷 実装 🔶 S3のバケット作成 S3は「バケット
CloudWatch Logs に蓄積したログをS3に定期的にエクスポートする - あくまで個人的なメモ
前回各サーバのログを集約させた。 これをS3にexportしてログの集計など他の処理に繋げる。 また、古いログなどCloudWatch Logsで見る必要がないログはexportしてから消してしまうのも一つの手だと思う。 (S3のほうがアーカイブ料金は若干安い) S3バケットの作成 export先として指定するバケットを作る。ログの出力先用に作ると良いと思う。 export元のCloudWatch Logsと同じリージョンになるように注意すること。 バケットポリシーの設定 作成したバケットの Permissions > Bucket policy を選択し、バケットポリシーを編集する。 下記は作成したバケット名が「export-log-backet-name」の場合の例。Resourceを書き換えてね。 { "Version": "2012-10-17", "Statement": [ {
Lambda を使って CloudWatch Logs から S3 へ自動的にエクスポートする
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています（リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています）。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
awsのs3を操作する為のaccess keyとsecret keyを取得する(IAM) – joppot
概要 皆さんこんにちはcandleです。今回はrailsやphpからS3にファイルをアップロードしたりする権限を取得する方法を紹介します。一般にS3にファイルをアップロードしたり削除するにはアクセスキーとシークレットキーをIAMから取得する必要があります。 興味深いのはS3に限らないのですが、aws環境ではそれぞれのサービスに例えばS3やRDSに外部からアクセスする権限を管理するのがそれぞれのサービスではなくてIAMというサービスになります。 故にS3を操作する場合でも権限関連はIAMで作成します。 逆に言えば、このアクセスキーとシークレットキーがあればどこからでもS3にアクセスしてファイルを編集したり、削除できたりできます。別の記事にあるように、自宅のMacPCからもS3にアクセスできるようになります。 図にすると、下の様になります。 前提 awsのアカウントを持っていて割と自由に使える
社内用Docker環境をつくる〜Docker Registry on EC2とDocker for AWSについて〜 | Recruit Jobs TECHBLOG
構築、運用工数、利用の便利さ、セキュリティ、コストなどのあらゆる面から総合的に考慮した結果、DockerRegistry on EC2に決めました。 1.1. システム構成： 構成図は以下のとおり： 特に難しいことはなく、一般的なELB-Autoscaling構成になります。ストレージはS3を利用します。 1.2. 構築手順とポイント S3にイメージ格納用のバケットを作成 ELBを作成: Health Checkはtcpの5000番ポート（registryコンテナの動作ポート） HTTPSの443ポートからHTTPの5000番ポートへトラフィックを転送 HTTPS証明書はAWSのCertificate Managerサービスを利用 （最初に構築時ACMはまだ東京リージョンに来ていませんでしたが、5月に東京リージョンでも利用可能になりました。便利なサービスなのでぜひ利用してみてください。）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Awesome Blog