S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
[AWS]S3オブジェクトのHTTPステータスコードをカスタマイズして計画メンテナンスページを構築
計画メンテナンスでサイトを一時的に閉じる時、ブラウザでアクセスしてくる一般ユーザにはメンテナンスページを返せば十分だけれども、 検索ボットにはメンテナンスページの HTTP ステータスコードを 503:Service Unavailable で返すのが好ましい。 Official Google Webmaster Central Blog: How to deal with planned site downtime メンテナンスページは静的という前提のもと、AWS の DNS サービス route53 と CDN サービス CloudFront とストレージサービス S3 を組み合わせで実現してみる。 route53-ELB-EC2 というようなサーバ構成の場合、メンテナンスの前後で route53 の Alias Target を本番用の ELB からメンテナンスページ用の Cloud
![[AWS]S3オブジェクトのHTTPステータスコードをカスタマイズして計画メンテナンスページを構築](https://cdn-ak-scissors.b.st-hatena.com/image/square/71f62b9097bffd670134a848ff8c4b8ef71ccd3e/height=288;version=1;width=512/https%3A%2F%2Fsiguniang.files.wordpress.com%2F2015%2F01%2Froute53-cloudfront.png)
ローカルファイルを S3 に同期する init スクリプト | はったりエンジニアの備忘録
Auto Scaling を使っているとスケールインによってインスタンスが Terminate されるので、ログファイルは Fluentd などを使ってログサーバ（もしくは S3 などのストレージ）に集約していると思います。 基本的に Fluentd を使っておけばいいのですが、 ログ集約にリアルタイム性を求められない（バックアップ用途など） ユーザーがアップロードしたバイナリファイルを集約したい といった場合には向いていません。 もっと簡単にローカルのファイルを S3 に同期したかったので Amazon Linux 向けの init スクリプトを書きました（最初のコミットは 2014 年ですが最近まで放置してました…）。 manabusakai/s3-sync: Upload the log file to Amazon S3. 使い方は init スクリプトと conf ファイルを置く
RaQoolスタッフブログ » Windows環境のPHPでAmazon S3を操作する。
こんにちは。山本です。 たまには開発部っぽいこともブログに書いておかないとバイヤー（ヤバい）かな～とか思ったので、Windows環境下(っていうかXAMPP)でAmazon Web ServicesのS3を操作するときに多分ハマるんじゃないかと思われるポイントを、いくつか書いておこうと思います。 知ってることだけですよ。知ってることだけ。 まず公式のSDKをインストールするところからです。現在はAWS SDK for PHP 2ですが、インストール自体は別に問題なくPEARなどで行えるでしょう。強いて言えば、PEARにチャンネルを追加するところぐらいでしょうか。 pear channel-discover pear.amazonwebservices.com pear channel-discover guzzlephp.org/pear pear channel-discover pea
Amazon S3をバックアップストレージに使う - rabbit2goのブログ
パソコンのデータの消失には気を使っているので、複数のバックアップ策を講じている。 各MacにはTime Machine 複数のパソコン間でのバックアップ共有にはDropbox 遠隔地のサーバのバックアップはrsync しかしながら、東日本大震災の被害状況を見ていると「家の中にあるパソコンやストレージ機器が全滅」という事態もあり得るので、いくら複数の機器にデータを分散させていても効果が無いようだ。抜本的には、物理的に離れた場所にデータを保存しておく方が望ましいわけだ。 そんな訳で、バックアップ対策としてAmazon S3を本格的に使い始めた。転送ツールとしては、rsync同様な形で使えるs3syncを使い、cronで定期的にアップロードするように設定した。 「S3Sync」は、rsyncのような使い方で、ローカルディスクの特定部分と「Amazon S3」のストレージ間を同期（ミラーリング）で
EC2 での AMI 作成手順 - hyoromoのブログ
前々回は、インスタンスの起動・停止・確認まで進みました。そして、今回は AMI の作成を行いたいます。 作成理由は、EC2 をシャットダウンするとディスクに保存した内容が失われてしまうのですが。AMI を作成することにより、作成した時点のディスク内容でインススタンス起動できます。*1 今回も CodeZine に沿った形で作業を進めて行きます。今回の内容は２ページ分ですね。 事前情報 AMI は S3 に転送して保存する EC2 から S3 への転送料は課金対象外 イメージ化されるディレクトリは「/dev/sda1」のみ インスタンス 前々回の方法で、インスタンス起動まで進めます。 ssh 接続 今回は『AWS Management Console』を利用した手軽な接続方法を解説します。 AWS Management Console/EC2 から、左メニューの [Instances] をク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
