【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO
AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 $ fallocate -l 1G test.dat AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試
AWS CLIのS3コマンドまとめ - TASK NOTES
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
CloudFront と S3 で 配信した Angular 製 SPA から API Gateway を通してファイルアップロードする | DevelopersIO
サーバーレスな話で以下のような構成、よく見かけます。 CloudFront と S3 で SPA を配信する API Gateway と S3 で CRUD API を作る よく見かけるのですが、私が知っているのは「構成」であって「実装」ではないな、ということで簡単なものを作ってみることにしました。図にすると以下のようなイメージ。 簡単なストーリー 各地域に投票所があり、エンドユーザーが投票する 地域ごとに投票データをCSV管理しており、投票が終わったら管理者が中央ストレージへCSVファイルをアップロードする 想定読者 サーバーレス構成で CloudFront や S3 を組み合わせたサンプルを見てみたい方。 作ってみて 最初に感想を書いてしまいます。 CloudFront と S3 の組み合わせは強力。ドメインを持っていたら迷わず横綱構成へ持っていくべき。 API Gateway は思っ
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
Amazon Athena JDBCプログラミングガイド | DevelopersIO
はじめに 今回は私が Amazon Athena で JDBCプログラミングを実際に書いて得られた知見についてまとめてみました。各種チューニングパラメタの使い方、実際のDDLや参照系クエリーを例に解説します。 JDBCドライバーの入手 公開されたS3バケットからダウンロードから取得する方法とAmazon Athena のユーザーガイド（英語マニュアル）のリンクからダウンロードする方法の2種類あります。 現在は、JDBC 4.1互換のドライバが提供されています。 公開されたS3バケットからダウンロード 誰でも公開されたS3バケットからダウンロードできます。例えば、AWS CLIでは以下のようにダウンロードできます。 aws s3 cp s3：//athena-downloads/drivers/AthenaJDBC41-1.0.0.jar [ local_directory ] Amazon
RaspberryPi + Athena + Quicksightで可視化する＜前編＞ - Qiita
概要 本コンテンツは、JAWS DAYS 2017のIoTハンズオン向けに作成したものです。 下記のようなデータフローを構築して、温度センサーデータをQuicksightで可視化します。 温度センサー -> RaspberryPi -> Kinesis Firehose -> S3 -> Athena -> Quicksight 本格的な分析や可視化にも耐えうる構成となっており、プロダクションへの応用も可能です。また、温度センサーの組み立てでは簡単な電子工作を体験できます。 ＜前編＞の範囲 ＜前編＞では、温度センサー -> RaspberryPi -> Kinesis Firehose -> S3 の部分を説明します。成功すれば下記のようなJSONメッセージがS3バケットに格納されます。汎用的なJSONメッセージですので、後工程で様々に活用することが可能(ココ重要！)です。 {"time"
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3のファイルを一般公開する