S3 互換オブジェクトストレージまとめ
概要 S3 互換オブジェクトストレージの サービス を自分のためにまとめている。サービスとして提供されているのが前提で、 自前運用は範囲外 。 目的 以下の内容に絞って調べている。 日本リージョンの有無 egress の費用 容量の費用 追加調査予定 PutObject 対応 PresignedGetObject 対応 S3 互換 S3 互換の条件は s3cmd や aws sdk s3 がそのまま利用できる事。細かい互換性は気にしない。 比較用の AWS S3 https://aws.amazon.com/jp/s3/pricing/ 最小プラン Tokyo / Osaka リージョンあり 1 GiB 追加の egress 転送量は 0.114 ドル 1 GiB の追加容量は 0.025 ドル TODO SLA 書いてるのと書いてないのがあって拾いにくい 対象外 Azure は S3 互
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac
Lambda + S3 で、CloudWatch Logsのログをログローテーションする - Qiita
🔷 はじめに AWSの各種プロダクトのログは、CloudWatchに出力する事ができます。 そして、CloudWatchに出力したログは、手動でS3にエクスポートする事もできます。 しかし、S3に自動でログローテーションする機能はありません。（2018年12月時点） そこで、今回は、ログローテーションをLambdaで実現したいと思います。 🔷 作業手順 今回は、CloudWatchのログを日次処理でS3にエクスポートする処理を行う、Lambda関数を作成します。 作業手順は大きく3つになります。 1. S3のバケットを作成する。 2. CloudWatch LogsのログをS3にエクスポートする処理を行う、Lambda関数を作成する。 3. CloudWatch Eventsで、Lambda関数が日次処理で実行するように設定する。 🔷 実装 🔶 S3のバケット作成 S3は「バケット
CloudWatch Logs に蓄積したログをS3に定期的にエクスポートする - あくまで個人的なメモ
前回各サーバのログを集約させた。 これをS3にexportしてログの集計など他の処理に繋げる。 また、古いログなどCloudWatch Logsで見る必要がないログはexportしてから消してしまうのも一つの手だと思う。 (S3のほうがアーカイブ料金は若干安い) S3バケットの作成 export先として指定するバケットを作る。ログの出力先用に作ると良いと思う。 export元のCloudWatch Logsと同じリージョンになるように注意すること。 バケットポリシーの設定 作成したバケットの Permissions > Bucket policy を選択し、バケットポリシーを編集する。 下記は作成したバケット名が「export-log-backet-name」の場合の例。Resourceを書き換えてね。 { "Version": "2012-10-17", "Statement": [ {
Lambda を使って CloudWatch Logs から S3 へ自動的にエクスポートする
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています（リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています）。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた | DevelopersIO
はじめに おはようございます､加藤です｡EC2の上で動くアプリケーションログを一時的にCloudWatch Logsに保管､長期的にS3バケットに保存というアーキテクチャを試してみました｡ こちらが概要図です｡ EC2インスタンスでCloudWatchエージェントを動かし､ログをCloudWatch Logsに転送します｡CloudWatch LogsのロググループからKinesis Data Firehose→S3と転送します｡ Kinesisエージェントをインスタンスにインストールすれば直接Kinesis Data Firehoseにログを転送できますが､CloudWatch Logsに短期間はログを保存して置きたい・CloudWatch Logsで任意の文字列を検出した場合はアラートを上げたいというシチュエーションを想定し､このようなアーキテクチャになりました｡ 永続的に保存したい要
awsのs3を操作する為のaccess keyとsecret keyを取得する(IAM) – joppot
概要 皆さんこんにちはcandleです。今回はrailsやphpからS3にファイルをアップロードしたりする権限を取得する方法を紹介します。一般にS3にファイルをアップロードしたり削除するにはアクセスキーとシークレットキーをIAMから取得する必要があります。 興味深いのはS3に限らないのですが、aws環境ではそれぞれのサービスに例えばS3やRDSに外部からアクセスする権限を管理するのがそれぞれのサービスではなくてIAMというサービスになります。 故にS3を操作する場合でも権限関連はIAMで作成します。 逆に言えば、このアクセスキーとシークレットキーがあればどこからでもS3にアクセスしてファイルを編集したり、削除できたりできます。別の記事にあるように、自宅のMacPCからもS3にアクセスできるようになります。 図にすると、下の様になります。 前提 awsのアカウントを持っていて割と自由に使える
Railsでcarrierwaveを使ってAWS S3に画像をアップロードする手順を画像付きで説明する - Qiita
IAM設定 IAMユーザ作成 AWSコンソールにログインしてIAMサービスにアクセスする ユーザを追加する ユーザー名を入力し、アクセスの種類をプログラムによるアクセスにする 上記で作成したユーザにS3へアクセスできる権限を追加 設定を確認しユーザ作成を完了する IAMユーザのアクセスキーを入手する ユーザーを選択 アクセスキーを追加 アクセスキーとシークレットアクセスキーをメモする。（下記キーは事例のため開示しているけど、本来は絶対に秘密にすべき文字列です。） S3バケット作成 S3にアクセスする バケット名を入力して、リージョンを選択して、作成する rails & carrierwave photoモデルをつくって、imageカラムに画像をアップロード出来るように設定します。 gemインストール carrierwave gemを追加してインストールします。
[rails]carrierwaveで保存した画像のurlを取得する
carrierwave 0.10.0 で確認 imageカラムにcarrierwaveで保存した画像を保存している場合、デフォルトのままだとだとurlメソッドを実行してもpublic以下のパスのみで http://~ が設定されていません。 Sample.image.url #=> /uploads/sample/image/1/sample.jpghttp://~ 形式のURLを取得するにはCarrierWaveのasset_host設定を行う必要があります。 # config/initializers/carrierwave.rb CarrierWave.configure do |config| config.asset_host = Settings.url end定数管理にはrails_configを使用しています。 （使い方に関しては こちらを参照） # config/sett
![[rails]carrierwaveで保存した画像のurlを取得する](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a64cc21309639f33304c4730f8ddaaf393eeaf8/height=288;version=1;width=512/https%3A%2F%2Fblog.hilotter.com%2Ffavicon%2Fogp.png)
【AWS S3 + EC2 + CarrierWave + Fog】RailsからS3へ画像アップロード手順 - Qiita
はじめに Ruby on Rails 5.2からAWS S3へ画像をアップロードをするため、CarrierWave+fogを使って実装を進めました。 対象 EC2構築、デプロイ経験のある方 EC2へ画像をアップロードしていた方 はじめてS3を利用する方 AWSの設定 S3作成 S3 バケットを作成する方法 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/user-guide/create-bucket.html 東京リージョン バージョニング有効 Static website hosting有効 パブリックアクセスをすべてブロック { "Statement": [ { "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": [ "arn:aws:s3:::[バケ
ActiveStorageがCarrierWaveの代用として使えるか考える |
こんにちは、ファンデリー デザイン・システム室の岩田です。 今日は、日頃の業務でサーバーへの画像アップロードを行っていることもあり、ファイルアップロード系のgemについて関心を持ったので、タイトルにあげた「Active Storage」が「CarrierWave」の代用として使えるか考えてみようと思います。 いきさつ 弊社で使用している言語「Ruby」のライブラリの人気度合いがわかるサイト「ruby-toolbox」（https://www.ruby-toolbox.com/）より、カテゴリとして「File Upload」の部分を調べ、 その中から総ダウンロード数が他のものと比べて飛び抜けている「Paperclip」・「CarrierWave」の2つに焦点を当てました。また、「Paperclip」の移行推奨対象として「Active Storage」が取り上げられていることもあり、今回は「A
画像管理をActiveStorageからCarrierWaveへ乗り換えた話 - dely Tech Blog
本記事は dely Advent Calendar 2019 22日目の記事です。 qiita.com adventar.org 昨日はiOSエンジニアのknchstが「“ダーク“な2019年」という記事を書きました。 tech.dely.jp こんにちは、delyでサーバーサイドエンジニアをやっているyamanoiです。 弊社のとあるプロダクトにて画像アップロード処理周りに、ActiveStorageを使用していたのですが、使いづらい点がいくつかあったため、採用実績があったCarrierWaveへ乗り換えました。 この記事ではなぜ乗り換えたのかと、乗り換える手順を書いていきたいと思います。 なぜActiveStorageから乗り換えたのか 1. CDNとの相性が悪い 2. 画像のリクエストがRailsに向いてしまう 3. DBへのリクエストが頻繁に走る CarrierWaveへ乗り換える
ActiveStorageにアップロードしたファイルのダウンロード - haayaaa’s diary
本日、ActiveStorageにアップロードしたファイルのダウンロード機能を実装しました。 ダウンロード機能を実装するのは初だったので結構手間取りましたw その方法についてメモしておきます！！ ①ActiveStorageの設定 以下のコマンドで、ActiveStorageに必要なデーブルやファイルを生成します。 rails active_storage:install rails db:migrate ②モデルとの紐付け taskモデルにfileを紐づけたかったので、task.rbに以下のように記述します。 これでfileとtaskが１対１で紐づくようになります。 task.rb has_one_attached :file ③fileをアップロードできるようにする viewは以下のようにfile_fieldでファイルをアップロードする部分を作ります。 views/tasks/new.
rails S3へファイルアップロード・ダウンロード - Qiita
def upload region = 'XXXX' bucket = "#{bucket_name}" # S3バケット名 key = "#{key}" #S3のファイル名 client = Aws::S3::Client.new(region: region) upload_file = params[:file] client.put_object(bucket: bucket, key: key, body: upload_file.read) end def download region = 'XXX' bucket = "#{bucket_name}" # S3バケット名 key = "#{key}" #S3のファイル名 client = Aws::S3::Client.new(region: region) data = client.get_object(:bucket
Rails 6 ActiveStorageを使用してS3に画像ファイルをアップロードし、取得した画像をリサイズして表示する方法 - Qiita
Rails 6 ActiveStorageを使用してS3に画像ファイルをアップロードし、取得した画像をリサイズして表示する方法RubyRails新人エンジニアRails6 はじめまして！スタートアップでサーバーサイドエンジニアをやっています。なかのです！ TechTrain Advent Calendar 2019(User ver)の15日目を担当します！ 今回はタイトルの通り、Rails 6 ActiveStorageを使用してS3に画像ファイルをアップロードし、取得した画像をリサイズして表示する方法をお話ししたいと思います。 はじめに まず、簡単にActiveStorageについて説明しますと Active StorageとはAmazon S3、Google Cloud Storage、Microsoft Azure Storageなどの クラウドストレージサービスへのファイルのアッ
ActiveStorageでS3にダイレクトアップロードする - Rails Webook
Rails 5.2から入ったファイルアップロード機能のActive Storageを使ってS3にダイレクトアップロードを実装します。 クライアントからS3にファイルを直接アップロードすることにより、ファイルアップロード時の負荷を削減できるメリットがあり、最近ファイルをAWSにアップロードするとなるとダイレクトアップロードで実装することが多いと思います。 ファイルをアップロードするにあたり、S3の設定やユーザ認証、ファイルのバリデーションなど実運用で必要と思われる箇所についても合わせて実装していきます。 Active Storageに興味がある方は、わかりやすくまとまっているActive Storageの概要 | Rails ガイドをぜひ読んでみてください。 ソースコードはこちらです。rails_samples/sample_active_storage at master · nipe03
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
s3fsでAmazon S3をLinuxサーバにマウントする - Qiita
AWS SDK for Ruby V2でS3をいろいろ使う - Qiita
Awesome Blog
Active Storageを使って画像をアップしよう！