ELB経由のFTPサーバでS3にファイル転送したい | DevelopersIO
西澤です。今回は敢えてのアンチパターンへの挑戦。深遠なる理由によりFTPサーバ経由でS3バケットへのファイル転送が必要となった際の構成について検討してみました。ひとまず、ひと通り動作することは確認できましたのでご紹介させていただきます。本番環境ですぐに利用できる構成ではないという前提でお読みいただければありがたいです。 今回の要件 今回は下記のような要件で実現案を考えました。 クライアント側の実装により転送プロトコルはFTP縛り FTPサーバに十分な可用性を持たせたい 無駄なEC2起動は避ける為、Active/Standbyは避けたい ファイル数が多い為、ローカルディスクとS3の差分を管理するよりも、S3マウントを利用した方が安全 S3に配置するファイルは厳密な排他制御は不要で、必要に応じて上書きできれば良い 構成案 ということで、こんな構成にできたら、余分な作り込みをせずに要件を満たせる
Amazon S3 で共同作業 / FTPクライアントからのアクセスを許可
いろいろなウェブサービスの画像データをAmazon S3に保存しているんだけど、 たまに共同作業も必要になる。 他のプロジェクトのデータも共存しているので、 特定のディレクトリだけにアクセスさせたいところ。 IAMで簡単そうだったけど、意外とハマるところもあった。 いろんなブログがあったけど、結局Amazonのブログがすごい分かりやすかった。 Writing IAM policies: Grant access to user-specific folders in an Amazon S3 bucket こんな感じでFTPみたいに使えたらデベロッパーじゃない人も分かりやすいよね。 構成は下のようになっていて、sharedだけを共同作業用に使いたい。 other-project1 / other-project2 / my-project はそれぞれS3のルートにあるBucket。 oth
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
『GCPのCloud IAMを試してみた』
（2019/04 追記 この記事の情報は古いです。今では、GCPのIAMでも IAM Custom Roles によってカスタマイズしたロールが作れたり、Cloud IAM Conditions が登場してリソースの制限がしやすくなったりしています。また、メディア管轄のAWS Organizationsの活用については 「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018 もご覧ください） メディア事業（アメーバなど）を中心にAWS/GCPを担当している柿島大貴です。前回は、Google Cloud Platform（GCP）の各プロジェクトでコストを追える環境を作る を書きました。前回の続報としては、一部には使ってもらいつつも、可視化の部分で cloudyn を検証中です。 今回は、GCPのリソースの認可の話になります。GCPの利
Azure BLOBストレージ ＋ Microsoft Azure Storage ExplorerでDropbox的な仕組みをつくってみる |
制作現場で素材のやり取り（写真やpsd・aiデータなど）の容量の大きなデータをやり取りする場合、今はDropboxやOneDriveなどのオンラインストレージサービスを使うことが多いと思います。 さてMicrosoft AzureのBLOBストレージの機能をうまく使えば、「特定の人たちの間で一定期間、データの共有やアップロード・ダウンロードができる」自前のDropboxやOneDriveのような仕組みを作ることができる、というのをお聞きしたので今回はそれを実際に試してみました！ SAS（Shared Access Signature）を利用する Azure BLOBストレージは容量無制限なので、この機能を他人と共有できれば自前でDropboxやOneDriveのような仕組みを作ることができます。 しかしながら、Azure BLOBストレージを使うにはアカウント キーが必要になってきます。ア
IAMポリシーを利用して、Amazon S3にIPアドレス制限
Amazon S3の特定のバケツに、IAMポリシーを利用して、IPアドレス制限を掛ける方法です。 特定のユーザにAccess Key IDを発行して、S3の操作を制限させることができます。 たとえば、社外のユーザにS3にファイルをアップロードしてもらったりするようなシチュエーションがあったときなどに、使える方法だと思います。 以下、設定方法です。 IAMサービスを選択してポリシーを作っていきます。 Services -> IAM -> Policies -> Create Policy -> Create Your Own Policy ポリシーの内容は、以下のようにします。 Policy Name: 好きな名前を入力します。 この例では、S3-IP-Restrictions とします。 Policy Document: Statementを3つ書きます。 上から2つは、AWS CLIで操
IAM チュートリアル: AWS アカウント間の IAM ロールを使用したアクセスの委任 - AWS Identity and Access Management
このチュートリアルでは、ロールを使用して、お客様が所有する作成および開発という異なる AWS アカウント のリソースへのアクセスを委任する方法について説明します。特定のアカウントにあるリソースを別のアカウントのユーザーと共有します。このようにクロスアカウントアクセスを設定することで、お客様はアカウントごとに IAM ユーザーを作成する必要がなくなります。また、ユーザーは、異なる AWS アカウント のアカウントのリソースにアクセスするために、あるアカウントからサインアウトして別のアカウントにサインインする必要がなくなります。ロールを設定した後、AWS Management Console、AWS CLI、API からロールを使用する方法について説明します。 IAM ロールとリソースベースのポリシーは、単一のパーティション内のアカウント間でのみアクセスを委任します。たとえば、標準 aws パ
IAM RoleとBucket PolicyでAmazon S3へのアクセス制御を行う - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 AWSの各リソースへのアクセスは、デフォルトでは認証なしのアクセスができないため、たとえば1つのEC2を起動し、1つのS3バケットを作成し、EC2から中身を見ようとしてもcredentialが必要というエラーになります。 $ aws s3 ls bucket-policy-control-test Unable to locate credentials. You can configure credentials by running "aws configure". 文言のとおり `aws configure` コマンドでS3の中身を参照可能なcredentialをインスタンス内に定義すればアクセス可能になりますが、たくさんのEC2を起動した後に `aws configure` コマンドを叩いて回るのは
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
Amazon S3編～S3バケットのアクセス制限とCloudBerry Explorer for Amazon S3操作～
もし、IPアドレスの制限も掛けたいなら以下も設定します。 「Add Conditions (Optional)」をクリックし・・・ 「IpAddress」「aws:SouceIp」 「アクセス許可したいIPアドレス,アクセス許可したいIPアドレス・・・・」 を入力します。 上記の設定をする事により、指定したIP以外からのアクセスは接続拒否されます。 「Add Statement」をクリック 「Continue」をクリック 「Apply Policy」を選択 5.新しいポリシーが作成された事を確認 ここまでできたら、あとはアクセス確認するだけです。 マネージメントコンソールからのアクセス確認 上手くIAMのポリシーを作成できたか、アクセス確認を行ってみましょう。 6.まずはIAMユーザーでマネージメントコンソールにログイン。 S3バケットへのアクセス確認を行います。 当然ながらアクセスできま
Windows Azure Storage Service の Blob を認証・承認されたユーザーのみ限定で公開する Web アプリの自作 | @jsakamoto
Windows Azure Storage Service - Blobもっぱら何かしらのアプリ向けに、任意のバイナリコンテンツをしまっておけるインターネット上のストレージ(記憶域)サービスのひとつとして、Windows Azure Storage Service の Blob がある。 Amazon であれば S3 が該当するだろうか。 SkyDrive や Dropbox のようなユーザーインターフェースを備えているわけではなく、HTTP 経由の REST な API を介してコンテンツのやりとりをする。 なので、一般ユーザーが自分の手持ちのファイルを直接出し入れする目的では普通は使わない。 どちらかというと、何らかのアプリケーションの中から、縁の下的に使われることの多いサービスだろう。 Blob の内容を限定されたユーザだけに公開したいさてその Windows Azure Stora
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラウドホスティング - kousoku AWS