S3 Storage Management Update – Analytics, Object Tagging, Inventory, and Metrics | Amazon Web Services
AWS News Blog S3 Storage Management Update – Analytics, Object Tagging, Inventory, and Metrics Today I would like to tell you about four S3 features that will give you detailed insights into your storage and your access patterns. You can see what and how much you are storing, how it is being used, and you can make informed decisions about the use of S3 storage classes as a result. These features w
ログ管理のベストプラクティス
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
AWS CLI S3コマンドの並列処理設定 - Qiita
概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
Amazon ElastiCache アップデート – RedisのSnapshotをAmazon S3へエクスポートする事が可能になりました | Amazon Web Services
Amazon Web Services ブログ Amazon ElastiCache アップデート – RedisのSnapshotをAmazon S3へエクスポートする事が可能になりました Amazon ElastiCache はポピュラーなインメモリキャッシュエンジンであるMemcachedとRedisをサポートしています。 Memcachedは低速なディスクベースのデータベース等の結果を高速にキャッシュする事ができ、Redisは永続的にデータを保存できるデータストアとして高速に動作します。Redisはレプリケーションやフェイルオーバなどをサポートすることでの高可用性の確保と、複雑なデータ構造での保存を標準サポートしています。 本日Redisユーザのみなさんに、非常に興味深く、注目すべき新しい機能をリリースしました。まず、実行されているRedis キャッシュクラスタのスナップショットを
AWS Solutions Architect ブログ
こんばんは、テクニカルトレーナーの鬼形です。 2016/5/25に開催しましたAWS Black Belt Online Seminar 「Amazon S3」の資料が公開されました。Amazon S3のさまざまな機能がこの資料にコンパクトにまとまっており、「標準低頻度アクセスストレージ」や「Amazon S3 Transfer Acceleration」など最近のアップデートも解説されています。 Q: バージョニングにより保管されたデータを復旧する場合の復旧時間はどれくらいかかるのでしょうか？ A: バージョンで保管されたオブジェクトに関しては、即時アクセスが可能です。 Q: S3からGlacierにデータを移行し、その後、GlacierからS3へリストアする際、CLI以外に、マネジメントコンソールからの操作などもあるのでしょうか？また、便利なサードパーティのツールなどが有れば、教えて下
［速報］Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago
［速報］Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago Amazon Web Servicesは米シカゴでイベント「AWS Summit Chicago 2016」を開催。1日目の基調講演で、ビッグデータ向けの新しいストレージ、Amazon Elastic Block Storage（Amazon EBS）を2種類発表しました。 基調講演に登壇したのは、同社プロダクト戦略 ゼネラルマネージャ Dr. Matt Wood氏。 SSDによってストレージには多くの革新が起きた、ではもう磁気メディアではイノベーションを起こすことはできないのか。 磁気ディスクはとても安価で、シーケンシャルアクセスに強いという特性がある。そうした特性を活かした、新しいサービスはできないのだろうか。 そこでビッグデータに適
vpc endpoint から s3 へのアクセス制御 (bucket policy) - set setting reset
公式ドキュメント vpc endpoint を作成時にできる vpce-id を使って許可、拒否ができる 他のアカウント / vpc に対しても制御可能 記載された vpce と IPアドレスのみ許可する設定例です。 { "Version": "2012-10-17", "Id": "vpce-restrict", "Statement": [{ "Sid": "Allow-VPCE", "Action": "s3:*", "Principal": { "AWS": "*" }, "Effect": "Allow", "Resource": [ "arn:aws:s3:::bucket-name*", "arn:aws:s3:::bucket-name/*", ], "Condition": { "StringEquals": { "aws:sourceVpce": [ "vpce-***
現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
Glusterの設立者が手がける「Amazon S3」互換のオープンソースオブジェクトストレージ「Minio」 | OSDN Magazine
オープンソースのクラウドストレージ技術ベンダー米Minioが6月17日、正式に発足を発表した。合わせて「Amazon S3」とAPI互換の「Minio Server」を公開、クライアントとライブラリも入手できる。 Minioを立ち上げたのはオープンソースの分散ファイルシステム「Gluster」の設立者Anand Babu Periasamy氏（Glusterは2011年に米Red Hatに買収された）。社名であり製品名でもあるMinioは「Minimal Object Storage」の略で、拡張性のあるオブジェクトストレージ技術をオープンソースの形で開発・構築することでクラウドストレージ市場を「民主化する」としている。アプリケーション開発者はNode.js、MongoDB、Cassandraのように自分のアプリケーションスタックのなかにオブジェクトストレージ機能を導入できるという。 Mi
「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン
AWS-CLIでAmazon S3を操作・管理する
AWS-CLIの基本的なセットアップを行うで、AWS-CLIを使う前の準備について解説しました。このページでは実際にAWS-CLIでAmazon S3を操作するチュートリアル的な解説を行ってみます。 検証したライブラリのバージョン aws-cli 1.2.10 S3にバケットを作成/削除する # バケットの作成 # --region でリージョンを指定 aws s3 mb s3://yourbucket aws s3 mb s3://yourbucket --region us-west-1 # バケットの確認 $ aws s3 ls 2014-01-17 23:38:56 yourbucket1 # バケットの削除 # 1つでもオブジェクトがあるバケットを削除するには --forceが必要 aws s3 rb s3://yourbucket aws s3 rb s3://yourbu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
