タグ

S3とAWSに関するeigo_sのブックマーク (15)

  • S3 Storage Management Update – Analytics, Object Tagging, Inventory, and Metrics | Amazon Web Services

    AWS News Blog S3 Storage Management Update – Analytics, Object Tagging, Inventory, and Metrics Today I would like to tell you about four S3 features that will give you detailed insights into your storage and your access patterns. You can see what and how much you are storing, how it is being used, and you can make informed decisions about the use of S3 storage classes as a result. These features w

    S3 Storage Management Update – Analytics, Object Tagging, Inventory, and Metrics | Amazon Web Services
    eigo_s
    eigo_s 2017/03/21
    よさそう
  • ログ管理のベストプラクティス

    This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail

    ログ管理のベストプラクティス
    eigo_s
    eigo_s 2017/02/16
  • HadoopとS3 - Qiita

    Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。(ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ

    HadoopとS3 - Qiita
  • AWS CLI S3コマンドの並列処理設定 - Qiita

    概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ

    AWS CLI S3コマンドの並列処理設定 - Qiita
    eigo_s
    eigo_s 2016/12/13
  • S3のアクセスコントロールまとめ - Qiita

    これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console

    S3のアクセスコントロールまとめ - Qiita
    eigo_s
    eigo_s 2016/11/22
  • Amazon ElastiCache アップデート – RedisのSnapshotをAmazon S3へエクスポートする事が可能になりました | Amazon Web Services

    Amazon Web Services ブログ Amazon ElastiCache アップデート – RedisのSnapshotをAmazon S3へエクスポートする事が可能になりました Amazon ElastiCache はポピュラーなインメモリキャッシュエンジンであるMemcachedとRedisをサポートしています。 Memcachedは低速なディスクベースのデータベース等の結果を高速にキャッシュする事ができ、Redisは永続的にデータを保存できるデータストアとして高速に動作します。Redisはレプリケーションやフェイルオーバなどをサポートすることでの高可用性の確保と、複雑なデータ構造での保存を標準サポートしています。 日Redisユーザのみなさんに、非常に興味深く、注目すべき新しい機能をリリースしました。まず、実行されているRedis キャッシュクラスタのスナップショットを

    Amazon ElastiCache アップデート – RedisのSnapshotをAmazon S3へエクスポートする事が可能になりました | Amazon Web Services
  • AWS Solutions Architect ブログ

    こんばんは、テクニカルトレーナーの鬼形です。 2016/5/25に開催しましたAWS Black Belt Online Seminar 「Amazon S3」の資料が公開されました。Amazon S3のさまざまな機能がこの資料にコンパクトにまとまっており、「標準低頻度アクセスストレージ」や「Amazon S3 Transfer Acceleration」など最近のアップデートも解説されています。 Q: バージョニングにより保管されたデータを復旧する場合の復旧時間はどれくらいかかるのでしょうか? A: バージョンで保管されたオブジェクトに関しては、即時アクセスが可能です。 Q: S3からGlacierにデータを移行し、その後、GlacierからS3へリストアする際、CLI以外に、マネジメントコンソールからの操作などもあるのでしょうか?また、便利なサードパーティのツールなどが有れば、教えて下

    eigo_s
    eigo_s 2016/05/30
  • [速報]Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago

    [速報]Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago Amazon Web Servicesは米シカゴでイベント「AWS Summit Chicago 2016」を開催。1日目の基調講演で、ビッグデータ向けの新しいストレージ、Amazon Elastic Block Storage(Amazon EBS)を2種類発表しました。 基調講演に登壇したのは、同社プロダクト戦略 ゼネラルマネージャ Dr. Matt Wood氏。 SSDによってストレージには多くの革新が起きた、ではもう磁気メディアではイノベーションを起こすことはできないのか。 磁気ディスクはとても安価で、シーケンシャルアクセスに強いという特性がある。そうした特性を活かした、新しいサービスはできないのだろうか。 そこでビッグデータに適

    [速報]Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago
  • vpc endpoint から s3 へのアクセス制御 (bucket policy) - set setting reset

    公式ドキュメント vpc endpoint を作成時にできる vpce-id を使って許可、拒否ができる 他のアカウント / vpc に対しても制御可能 記載された vpce と IPアドレスのみ許可する設定例です。 { "Version": "2012-10-17", "Id": "vpce-restrict", "Statement": [{ "Sid": "Allow-VPCE", "Action": "s3:*", "Principal": { "AWS": "*" }, "Effect": "Allow", "Resource": [ "arn:aws:s3:::bucket-name*", "arn:aws:s3:::bucket-name/*", ], "Condition": { "StringEquals": { "aws:sourceVpce": [ "vpce-***

    vpc endpoint から s3 へのアクセス制御 (bucket policy) - set setting reset
    eigo_s
    eigo_s 2016/04/18
  • 現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠

    RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね(キリッ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした

    現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
    eigo_s
    eigo_s 2016/03/08
  • AWS News Blog

    New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute

    eigo_s
    eigo_s 2015/09/18
  • AWS News Blog

    New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute

    eigo_s
    eigo_s 2015/07/29
  • Glusterの設立者が手がける「Amazon S3」互換のオープンソースオブジェクトストレージ「Minio」 | OSDN Magazine

    オープンソースのクラウドストレージ技術ベンダー米Minioが6月17日、正式に発足を発表した。合わせて「Amazon S3」とAPI互換の「Minio Server」を公開、クライアントとライブラリも入手できる。 Minioを立ち上げたのはオープンソースの分散ファイルシステム「Gluster」の設立者Anand Babu Periasamy氏(Glusterは2011年に米Red Hatに買収された)。社名であり製品名でもあるMinioは「Minimal Object Storage」の略で、拡張性のあるオブジェクトストレージ技術をオープンソースの形で開発・構築することでクラウドストレージ市場を「民主化する」としている。アプリケーション開発者はNode.js、MongoDB、Cassandraのように自分のアプリケーションスタックのなかにオブジェクトストレージ機能を導入できるという。 Mi

    Glusterの設立者が手がける「Amazon S3」互換のオープンソースオブジェクトストレージ「Minio」 | OSDN Magazine
  • 「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々

    メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン

    「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
  • AWS-CLIでAmazon S3を操作・管理する

    AWS-CLIの基的なセットアップを行うで、AWS-CLIを使う前の準備について解説しました。このページでは実際にAWS-CLIでAmazon S3を操作するチュートリアル的な解説を行ってみます。 検証したライブラリのバージョン aws-cli 1.2.10 S3にバケットを作成/削除する # バケットの作成 # --region でリージョンを指定 aws s3 mb s3://yourbucket aws s3 mb s3://yourbucket --region us-west-1 # バケットの確認 $ aws s3 ls 2014-01-17 23:38:56 yourbucket1 # バケットの削除 # 1つでもオブジェクトがあるバケットを削除するには --forceが必要 aws s3 rb s3://yourbucket aws s3 rb s3://yourbu

    eigo_s
    eigo_s 2015/02/05
  • 1