Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
(レポート) STG406: S3を使った数百万ユーザー対応のスケーラブルで無制限なストレージサービスの構築 #reinvent | DevelopersIO
こんにちは、虎塚です。 「STG406 - Using S3 to Build and Scale an Unlimited Storage Service for Millions of Consumers（日本語タイトル: S3を使った数百万ユーザー対応のスケーラブルで無制限なストレージサービスの構築）」を聴講したので、レポートします。 これは、Amazon Cloud Driveの開発者の方が、容量無制限のストレージサービスをどのように作ったかを解説してくれるセッションです。発表はTarlochan CheemaさんとKevin Christenさんでした。 AWS re:Invent 2015 | (STG406) Using S3 to Build and Scale an Unlimited Storage Service - YouTube このセッションで扱うこと Amaz
GitHub - serverless/serverless: ⚡ Serverless Framework – Effortlessly build apps that auto-scale, incur zero costs when idle, and require minimal maintenance using AWS Lambda and other managed cloud services.
Here's a list of everything that's new in V.4, so far: Introducing Serverless MCP: Built for Cursor, Windsurf, and other AI-powered IDEs, it auto-detects cloud resources from your code, fetching logs, state, and config from AWS, enabling you to debug serverless apps directly in your IDE — no AWS console visit needed! Supports Serverless Framework, Cloudformation, and more. Introducing the Serverle
（新機能）「Data Connector for Amazon S3」によるデータロード革命 - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータでは，あらゆるデータソースにリーチするデータ収集ツールを用意していますが，新しい収集機能として「Data Connector」を順次リリースする予定です。 ↑ 従来の収集ツールに関しては過去記事をご覧下さい。 何が新しいのか？ さて，今回紹介する「Data Connector for Amazon S3」はその名の通り，Amazon S3上のデータをトレジャーデータに設定のみで「バルクデータロード」する機能です。この機能は先日オープンソースとしてリリースされた Embulk をベースにしたものです。 Embulk については以下の過去記事をご参照ください。 従来の Bulk Import 機能は「Client to Server」型 従来のトレジャーデータの「バルクインポート」機能は，クライアント上の巨大なデータに対して，トレジャーデータへ安全かつ効率良く実行する
【アップデート】S3の一貫性に変更があります | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日のアナウンス(要ログイン)で、S3の一貫性に一部変更があることが発表されました。変更があったのは"US Standard"という聞きなれないリージョンとなります。 リージョン＝US Standard？ S3に詳しい方はご存知かと思いますが、S3のリージョンにバージニア(us-east-1)が存在しません。替わりにUS Standardというリージョンがあります。歴史的経緯もあるのだと思いますが、s3.amazonaws.com（バージニア北部または太平洋岸北西部）とs3-external-1.amazonaws.com（バージニア北部のみ）の2箇所のエンドポイントが使用できます。 何が変わったの？ US Standardは一貫性が他のリージョンと異なっていましたが、他のリージョンと同じ整合性モデルが使用できる様になりました。変更点は
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの下佐粉（しもさこ）です。 先日(4/22)のAWS Black Belt Tech Webinar ではAmazon S3 (Simple Storage Service)の解説を行いました。AWSが出来た時からあるサービスで、利用いただいている方も多かったためか、多くの方にご参加いただき、最後のQ&Aも活発でした。資料もS3の基礎から、応用、注意点まで網羅的にカバーされたもので、S3は使い慣れているという方でも一度目を通していただく価値があると思います。時間の関係で、Q&Aの一部にしか答えられなかったので、資料に加えて、このエントリの後半に答えきれなかった分も含めたQ&Aを記載しておりますので、ぜひ参考にしてください。 次回のBlack Belt Webinarは、5月13日（水）18時です。ゴールデンウィークをはさむために少し期間が空いてしまいま
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
[セッションレポート]Maximizing Amazon S3 Performance #reinvent | DevelopersIO
re:Inventのセッション「Maximizing Amazon S3 Performance」を聞いてきたので、そのセッションレポートを書きました。 内容 リージョンの選択 どのリージョンでS3を作成するか、の検討基準 ユーザになるべく近いリージョン その他のAWSリソースと近いリージョン 保存されるデータがsensitiveなものの場合は法律上の規則も確認しておく必要がある オブジェクトの命名 オブジェクトへのアクセスが100TPS(Transaction per Second)を超えるかどうか、がS3のアーキテクチャ上重要になる S3のキーの先頭部分が同じだと、S3上で同一のパーティション上に保存されるアーキテクチャとなる。つまり、大量のファイルのキーの先頭部分が同じ場合は同じパーティションへのアクセスが集中するためパフォーマンスが落ちる。(例: 2014-01-01-photo.
![[セッションレポート]Maximizing Amazon S3 Performance #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
20131213 jawsugソフトウェアベンダーがAWSを活用して
急にSaaSをはじめた話
データ分析基盤、どう作る？システム設計のポイント、教えます - Developers.IO 2019 (20191101)
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
ChefでS3からファイルを取得する | DevelopersIO
こんにちは、植木和樹です。ここ最近ChefとCloudFormation漬けの毎日をすごしています。 さてChefを使ってサーバ環境を構築・保守するにあたって様々なファイルをあつかっていることと思いますが、ファイルの置き場所としてS3が使えたらいろいろ便利ですよね。cookbookと一緒のリポジトリで管理するのがふさわしくない設定ファイルや、サイズが大きくてcookbookに入れたくないオレオレRPMファイルなんかをS3に置いておいてchefレシピから扱えたら・・・今日はそんな課題に取り組んでみたいと思います。 s3_fileリソース 検索サイトで"chef s3"で検索するとs3_fileという、chefからS3を扱うためのライブラリを配布されている方がいました。 https://gist.github.com/peplin/470321 さらにこのページのコメント欄を読むと、AWS S
Glacierで思い出よ永遠に。 - サーバーワークスエンジニアブログ
みなさんこんにちは、ストレージはハードで持ちたくない羽柴です。 早速ですがみなさん個人でのストレージってどうしてますか？ 私は一部NASはありますが、基本的にはS3を利用しています。 ただ最近、S＊NY製のビデオカメラを買ってしまったことで徐々に動画ファイルが多くなり、持っているHDDレコーダーもSO＊Y製のためレコーダーへの転送は超簡単なのですが、HDDを信用していない私としては動画ファイルもS3にあげようかと思っていたところで、動画ファイルは容量が結構あるためS3の料金もさすがに不安になってくるなぁと思っていました。 そうだ Glacier に入れておけばいいか。 Glacierは Amazon Web Services社 が提供する低価格ストレージサービスです。高い耐久性と低コストが特徴であり、取り出しに４時間程度かかることから長期におけるデータのアーカイブ・バックアップに適していま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
AWS Blackbelt 2015シリーズ Amazon Storage Service (S3)
GitHub - Netflix/s3mper: s3mper - Consistent Listing for S3
S3をDB利用 ショッピングセンター向けポイントシステム概要
AWS Black Belt Techシリーズ Amazon Simple Storage Service (Amazon S3)
Amazon S3でWordPressを動かす
