Help us understand the problem. What are the problem?
![s3fsでAmazon S3をLinuxサーバにマウントする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ef6715c1be1cf56f5013c2968b2014ab8854c93a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9czNmcyVFMyU4MSVBN0FtYXpvbiUyMFMzJUUzJTgyJTkyTGludXglRTMlODIlQjUlRTMlODMlQkMlRTMlODMlOTAlRTMlODElQUIlRTMlODMlOUUlRTMlODIlQTYlRTMlODMlQjMlRTMlODMlODglRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWVjMmM5MGZkYTA4ZDE0MTc5Y2RmYzRkN2RjODlmODli%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbGF0aW4xJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOWIwNTRiOTkwMDI3ZDcyNjAwMDViMmM5MzcxNzQ3Nw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D9f8395c0979925ab8dcf53b31ccf33a4)
🔷 はじめに AWSの各種プロダクトのログは、CloudWatchに出力する事ができます。 そして、CloudWatchに出力したログは、手動でS3にエクスポートする事もできます。 しかし、S3に自動でログローテーションする機能はありません。(2018年12月時点) そこで、今回は、ログローテーションをLambdaで実現したいと思います。 🔷 作業手順 今回は、CloudWatchのログを日次処理でS3にエクスポートする処理を行う、Lambda関数を作成します。 作業手順は大きく3つになります。 1. S3のバケットを作成する。 2. CloudWatch LogsのログをS3にエクスポートする処理を行う、Lambda関数を作成する。 3. CloudWatch Eventsで、Lambda関数が日次処理で実行するように設定する。 🔷 実装 🔶 S3のバケット作成 S3は「バケット
前回各サーバのログを集約させた。 これをS3にexportしてログの集計など他の処理に繋げる。 また、古いログなどCloudWatch Logsで見る必要がないログはexportしてから消してしまうのも一つの手だと思う。 (S3のほうがアーカイブ料金は若干安い) S3バケットの作成 export先として指定するバケットを作る。ログの出力先用に作ると良いと思う。 export元のCloudWatch Logsと同じリージョンになるように注意すること。 バケットポリシーの設定 作成したバケットの Permissions > Bucket policy を選択し、バケットポリシーを編集する。 下記は作成したバケット名が「export-log-backet-name」の場合の例。Resourceを書き換えてね。 { "Version": "2012-10-17", "Statement": [ {
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています(リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています)。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
概要 皆さんこんにちはcandleです。今回はrailsやphpからS3にファイルをアップロードしたりする権限を取得する方法を紹介します。一般にS3にファイルをアップロードしたり削除するにはアクセスキーとシークレットキーをIAMから取得する必要があります。 興味深いのはS3に限らないのですが、aws環境ではそれぞれのサービスに例えばS3やRDSに外部からアクセスする権限を管理するのがそれぞれのサービスではなくてIAMというサービスになります。 故にS3を操作する場合でも権限関連はIAMで作成します。 逆に言えば、このアクセスキーとシークレットキーがあればどこからでもS3にアクセスしてファイルを編集したり、削除できたりできます。別の記事にあるように、自宅のMacPCからもS3にアクセスできるようになります。 図にすると、下の様になります。 前提 awsのアカウントを持っていて割と自由に使える
構築、運用工数、利用の便利さ、セキュリティ、コストなどのあらゆる面から総合的に考慮した結果、DockerRegistry on EC2に決めました。 1.1. システム構成: 構成図は以下のとおり: 特に難しいことはなく、一般的なELB-Autoscaling構成になります。ストレージはS3を利用します。 1.2. 構築手順とポイント S3にイメージ格納用のバケットを作成 ELBを作成: Health Checkはtcpの5000番ポート(registryコンテナの動作ポート) HTTPSの443ポートからHTTPの5000番ポートへトラフィックを転送 HTTPS証明書はAWSのCertificate Managerサービスを利用 (最初に構築時ACMはまだ東京リージョンに来ていませんでしたが、5月に東京リージョンでも利用可能になりました。便利なサービスなのでぜひ利用してみてください。)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く