値段の下がってきたAWS S3 GlacierとBackBlaze B2をいろいろ比較
※BackBlaze B2、AWSはファイルの出し入れなどにも少し料金がかかります。 S3 Glacier Deep Archiveの価格が特に目立ちますね。わずか$0.002という、従来最安だったBackBlazeの半額以下というとんでもない安さです。 完結した仕事のメディアなど、「完結したからほぼいらないと思うけど、5年後に破棄したあと、なんか言われたら困る」みたいなデータを置いておくのにいいですね。 100GBのデータを10年預けておいても、たったの24ドルです。ほぼ無視できます。（100GB x 0.002ドル x 12か月 x 10年） ほかには、たとえばNASがあって、そのなかでバックアップもレプリケーションもしてあるけれど、万が一NASとバックアップが一撃で破壊されるような事態のためにとっておきたい、という使い方もアリでしょう。 最近は自然災害も多いので、念には念を入れる必要
[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO
はじめに 清水です。ELBやCloudFront、S3などのアクセスログはS3に保存されます。 アクセスログは外部ツールと連携させて監視や可視化するということもあると思いますが、直接ログファイルを確認することも多いのではないでしょうか。 ログファイルを直接確認するときはS3から作業用マシンにファイルをコピーしますが、保存先のS3バケット内のPrefixで指定したディレクトリにファイルが大量にあることが多いことから、私はAWS CLIを使ってコピーすることが多いです。 AWS CLIの場合、UNIXとまったく同じ書式でワイルドカードを使用することはできませんが、--recursiveオプションと--excludeオプション、--incluceオプションを組み合わせることで同様のことができます。 今回はアクセスログファイルから特定の日付のファイルだけを作業用マシン（AWS CLIを実行している
![[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eb469bfaff8e33e9f250bdad40fd2ee2aba555c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F09%2Faws-cli.png)
S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
Lambdaを使わずにS3にPutされたCSVファイルをRDSに自動一括登録する | DevelopersIO
はじめに サーバーレス開発部＠大阪の岩田です。 現在従事しているプロジェクトで、S3へのCSVファイルのPutをトリガーにCSVファイルの中身をRDSに一括登録したいという要件がありました。 S3へのPutをトリガーにLambdaを起動して〜というアーキテクチャはサーバーレス開発の定番ですがRDSへの一括登録となると話が変わってきます。 Lambdaの実行時間や、RDSへの同時接続数といった制限を意識しなくてはいけません。 実現方法としてCloudWatch Eventsのルールを使用してAWS Batchを起動する構成について調査したので、手順をご紹介します。 構成概要 今回ご紹介する構成は、下記のような構成です。 下記のエントリでも紹介されているように、2018年3月のアップデートにより、CloudWatch EventsをトリガーにAWS Batchのジョブが起動できるようになってい
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
Amazon S3バケットへのファイルアップロードを実現する – 01.概要&GUIお勧めツール編 | DevelopersIO
AWSに於いて、クラウドストレージサービスの『S3』は実に様々な各種AWSサービスから利用されています。サービスとしては特に欠かせないものの1つでしょう。 S3の数ある利用用途の中の1つとして『DBへデータを投入するための前段階としてS3バケットにファイルをアップロードする』というケースというものが考えられるかと思います。RDS(MySQL/Oracle/SQLServer)然り、データウェアハウス(Redshift)然り、NoSQL(DynamoDB)然り。良くある操作ですが、この操作はその手段や人手が絡む度合いに拠って、幾つかに分類する事が可能です。 そこで当エントリ、及び以降数回の続編エントリに亘って、『どんな手段があるのか、どういう風に組めばそれが実現出来るのか』と言ったポイントをキャプチャやサンプルコードを交えてそれぞれご紹介して行きたいと思います。 まずは『手段』の種類について
【AWS Lambdaの基本コードその2】 S3へのファイル保存
大柳です。 「AWS Lambdaの基本コード」シリーズ、第２回目はLambdaからS3へのファイル保存を行います。 前回記事 【AWS Lambdaの基本コード その1】 S3からのファイル取得とローカル保存 | ナレコムAWSレシピ 今回の構成 Lambdaが起動されると、テキストの内容をS3にファイルに保存します。 ローカルの/tmpディレクトリへのファイル保存なしで、直接S3にコンテンツを出力します。 コード コードは以下のようになります。 # ①ライブラリのimport import boto3 from datetime import datetime print('Loading function') # ②Functionのロードをログに出力 s3 = boto3.resource('s3') # ③S3オブジェクトを取得 # ④Lambdaのメイン関数 def lambd
【AWS Lambdaの基本コード その1】 S3からのファイル取得とローカル保存
大柳です。 最近、お客様のシステムや社内システム向けにAWS Lambdaでコードをよく書いています。 S3への読み書きなどの操作、ファイルの圧縮など、基本的なコードをまとめておくと調べる手間も省け、コード品質も一定に保てると考えて、社内へのナレッジとして整理したので、「AWS Lambdaの基本コード」シリーズとして公開します。 使い勝手と個人的な趣味からPython3系のコードでの紹介となりますが、AWS Lambda構築の手助けとなれば幸いです。 第1回目はAWS LambdaでS3上のファイルを取得しローカルに保存するコードを紹介します。 今回の構成 S3へのファイル格納をトリガーにLambdaが起動、S3に格納されたファイルを取得し、ローカルに保存します。 Lambdaではローカル保存先として/tmpディレクトリに対してファイルを読み書きできます。 LambdaでS3から取得した
S3にパブリックファイルが追加された時にメール通知するLambdaを作成する | DevelopersIO
S3上で意図せず公開されたファイルがあるのは、セキュリティ上非常に重大な脅威となりえます。今回は、S3イベントからのLambda連携を利用して、S3上にパブリック権限をもつファイルがアップロードされた時にメール通知するLambdaを紹介します。 「おれは、こんなファイルを公開するつもりはなかったんや… (T_T)」 昨今、S3オブジェクトの意図しない公開設定により重要機密が漏れるニュースをよく目にします。 AWS側でも事態を重く見ているのか、S3コンソールでパブリック設定されているバケットがあった場合の表示が、派手になりました。「パブリック！！」的な。 今回は、意図しないパブリックオブジェクトが追加された時の防止目的で、S3バケットにパブリックオブジェクトが追加されるたびに、メール通知するLambda関数を作成しました。 LambdaによるS3オブジェクトの処理に汎用的に使える方法なので、
WebブラウザからAmazon S3に直接ファイルをアップロードする | DevelopersIO
WebブラウザからAmazon S3へのクロスドメインアップロード 今回は、Amazon S3のCORSの仕様に準じたクロスドメインアクセス機能を利用して、WebブラウザからS3へ直接ファイルをアップロードするサンプルアプリを作成してみたいと思います。 CORSに関しては別の記事にまとめていますので、そちらを参考にして下さい。 開発環境 今回の開発環境は下記の通りです。アプリケーションサーバはScalatraで作成しました。 OSX 10.8.3 Mountain Lion Google Chrome 25 Scala 2.9.2 sbt 0.12.2 Scalatra 2.2 TypeScript 0.8.3 ソースコードはGitHubで公開しています。 ファイルアップロード処理の流れ サンプルアプリの実装の前に、S3へのアップロードについて必要な知識を押さえておきたいと思います。 ブラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
