AWS、S3の新ストレージクラス「標準 - IA」を発表--低頻度でアクセスされるデータ向け
Chris Duckett （ZDNet.com.au） 翻訳校正： 川村インターナショナル 2015-09-17 16:46 Amazon Web Services（AWS）は、「Amazon Simple Storage Service」（「Amazon S3））の新しいストレージクラスを発表した。アクセス頻度の低いデータに最適で、標準ストレージと「Amazon Glacier」の中間に位置するストレージを提供する。 「S3 標準 - 低頻度アクセス（標準 - IA）」と呼ばれるこの新ストレージオプションは、標準ストレージと比べると、1Gバイトあたりのストレージコストは低くなっているが、データ取り出しのコストは高くなっている。 1Gバイトあたりのストレージ料金は、米国スタンダードリージョンで0.0125ドル、東京リージョンでは0.019ドルとなっている。 データリクエストの料金は世界一
AWS News Blog
Build RAG applications with MongoDB Atlas, now available in Knowledge Bases for Amazon Bedrock Foundational models (FMs) are trained on large volumes of data and use billions of parameters. However, in order to answer customers’ questions related to domain-specific private data, they need to reference an authoritative knowledge base outside of the model’s training data sources. This is commonly ac
LambdaをつかってS3にPUTされた情報のメタデータをDynamoDBで楽に管理する - Qiita
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
[セッションレポート]Maximizing Amazon S3 Performance #reinvent | DevelopersIO
re:Inventのセッション「Maximizing Amazon S3 Performance」を聞いてきたので、そのセッションレポートを書きました。 内容 リージョンの選択 どのリージョンでS3を作成するか、の検討基準 ユーザになるべく近いリージョン その他のAWSリソースと近いリージョン 保存されるデータがsensitiveなものの場合は法律上の規則も確認しておく必要がある オブジェクトの命名 オブジェクトへのアクセスが100TPS(Transaction per Second)を超えるかどうか、がS3のアーキテクチャ上重要になる S3のキーの先頭部分が同じだと、S3上で同一のパーティション上に保存されるアーキテクチャとなる。つまり、大量のファイルのキーの先頭部分が同じ場合は同じパーティションへのアクセスが集中するためパフォーマンスが落ちる。(例: 2014-01-01-photo.
![[セッションレポート]Maximizing Amazon S3 Performance #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
S3とCORS - まめ畑
最近、AWSのサービスも少し様変わりしてきて、インフラレイヤーから、アプリレイヤーまで幅広くサービスが出てきています。SDKも充実してきていて、デバイスやブラウザから直接AWSサービスにアクセスして、S3にデータをUploadしたり、DynamoDBにデータを入れたり、Kinesisにログを流し込んだりなどなど今までサーバをかえして行っていた処理が突き詰めればサーバレスで行えるようになってきました。 もちろん、データを受け取って整形など複雑な処理を行いたいという場合には今まで通りAPIサーバなりを用意する方法になるかと思います。 ここで一つ問題になるのが、認証周りかと思います。例えば、ブラウザやデバイスから直接S3にデータをUploadしたり読み出したりするアプリがあった場合、S3にアクセスするための認証情報をセットする必要があります。このキーの管理はなかなか難しいところがありますが、今ま
PinterestのHadoopインフラ - ワザノバ | wazanova
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
ssig33.com - Docker 運用しまくって得られたしょぼい知識
よく知られているように Docker ではコンテナ自体は使い捨てで、アプリケーションが保持すべきデータはコンテナの外に格納する必要があります。 RDBMS 多くのアプリケーションが RDBMS を使用しています。 RDBMS の運用は実際のところかなり厄介ですが、まあ Amazon RDS を使っちゃいましょう。それが一番楽です。 EC2 じゃないところにサーバー置いてて RDS との通信量課金を払いたくないという場合は適宜頑張ってください。 Redis と memcached 現代の多くのアプリケーションが Redis や memcached を使っています。これも Amazon Web Services に ElastiCache があるので EC2 にサーバー置いてる場合はこれを使います。置いてない場合は適宜頑張ります。 その他 ここまでのことは特に何ということもないのですが、ここか
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
米Netflix、Amazon S3上でデータの整合性を実現するライブラリ「S3mper」を公開 | OSDN Magazine
動画配信サービスなどを手がける米Netflixは1月9日、Amazon Web Services（AWS）の1つである「Amazon S3」向けにデータの整合性を実現するライブラリ「S3mper」を公開した。HadoopとAmazon S3の組み合わせでデータに一貫性を持たせるために開発したもので、実際に社内で利用しているという。 NetflixはAmazon Web Services（AWS）が提供する各種クラウドサービスの大規模なユーザーとして知られており、AWSをインフラとして利用するにあたって社内開発した「Chaos Monkey」や「Hysterix」、「Janitor Monkey」といったツールをオープンソースで公開している。今回のS3mperもその1つとなる。 NetflixではHadoopでのファイル管理にAmazon S3を利用している。ペタバイト級のデータをS3に保存
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices | DevelopersIO
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices AWSのエンタープライズソリューションアーキテクトである、Siva Raghupathyさんによる「AWS Storage and Database Architecture Best Practices」に参加してきました。 各ストレージ、データベースの向き不向きとベストプラクティスを網羅的に紹介する内容でした。 AWSはデータベースだけでも沢山のサービスがあるので、どのサービスを利用するのが一番いいのか迷うことがよくあります。 以下は発表内容の直訳ですが、それぞれのサービスの特性を押さえておくことで、より確かな選定をするための一助になればと思います。 英語が分からなくて、訳せていない部分があります。 自信が無いところは元の英語
Amazon S3の値下げについて予想してみた | DevelopersIO
はじめに 先日、Amazon S3の価格って何度か値下げされているがこれからどうなるのか? という話がありました。AWS自体はそのような予定を発表していません。興味があったので過去の値下げと、これからについて考えてみました。 過去の値下げについて 最初の1TBのストレージ料金についてグラフにまとめてみました。 過去のAWSブログよりS3の値下げの記事をぬきだして確認しました。意外なことにS3の値下げが行なわれているのはここ2,3年でした。リクエスト料金や、データ転送料金については無視しています。 ストレージシステムの価格の変動要因 価格に影響する要因を考えてみました。 価格が安くなる要因 規模が大きくなるほどシステム維持費用の単価は下がる(S3の保管データ量は急速に増加中) ハードウェア、ネットワーク回線は時間と共に性能は上がりコストは下がる HDDの集積度はしばらくあがり続ける。 データ
GitHub - bloomreach/s4cmd: Super S3 command line tool
Fully migrated from old boto 2.x to new boto3 library, which provides more reliable and up-to-date S3 backend. Support S3 --API-ServerSideEncryption along with 36 new API pass-through options. See API pass-through options section for complete list. Support batch delete (with delete_objects API) to delete up to 1000 files with single call. 100+ times faster than sequential deletion. Support S4CMD_O
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Qiitaの画像アップロード機能も簡単に実装できる。そう、S3ならね。 - Qiita
QiitaとKobitoで画像アップロードができるようになりました。 その後ろ側をちょっぴり公開します。 件名からも分かるように、背後ではAWSのS3を画像ストレージに採用しています。 画像アップロード機能をリリースしました - The Official Qiita Blog Kobito v1.6.1リリース: ドラッグ&ドロップやスクリーンショット撮影で簡単に画像を添付できるようになりました! - The Official Qiita Blog 用語統一 サーバ はQiitaのサーバのことを指すことにします。（つまり、S3ではない、ということ） また クライアント は各ユーザのブラウザのことを指します。 要件 画像アップロード機能を実装するにあたっていくつかの要求がありました。 成りすましを防げる アップロードされたファイルを管理できる 自分達のサーバに負荷をかけたくない 変な画像のア
AWSの滅多に見られないベンチについて：Cloudpack20130517a
----- Meeting Notes (9/7/11 10:23) -----S3はジッタあるけど十分はやいでしょ。冗長構成をとっても問題のない速さ ----- Meeting Notes (9/7/11 10:23) -----microの特性を説明する ----- Meeting Notes (9/7/11 10:23) -----RDSをつかったときの絵 AWSの滅多に見られないベンチについて：Cloudpack20130517a Presentation Transcript パフォーマンスあれこれこんなパフォーマンス話めったにしないんだからねっ荒木靖宏twitter.com/ar1, facebook.com/araki.yasuhirocloudpack Night #6 自己紹介名前• 荒木 靖宏所属• アマゾンデータサービスジャパン（株）プリンシパルソリューションアーキテ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20131213 jawsugソフトウェアベンダーがAWSを活用して
急にSaaSをはじめた話
put-object — AWS CLI 1.33.30 Command Reference
The Top 100 Java Libraries in 2018 - Based on 277,975 Source Files | OverOps Blog
Logをs3とredshiftに格納する仕組み
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes