Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行 MongoDBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接MongoDBのクエリ言語で検索可能にするクラウドサービス「MongoDB Atlas Data Lake」の正式リリースを発表しました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 MongoDB Atlas Data
サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド
S3+Lambda+CloudFormationでサーバレスyumリポジトリ - so what
先日の記事で、大きめの処理をLambda+CloudFormationで実行するめどがついたので、S3+Lambda+CloudFormationでサーバレスyumリポジトリを作ってみた。 処理の概要 S3にrpmを追加・更新・削除 Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2インスタンスを起動→S3リポジトリをダウンロード createrepoを実行して、インデックスをS3にアップロード cfnスタックは処理完了後に自動的に削除 Lambda Function こんな感じ。 var Promise = require('bluebird'); var AWS = require("aws-sdk"); AWS.config.update({region: 'ap-northeast-1'}); var cloudformation = Promise.pr
【アップデート】S3の一貫性に変更があります | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日のアナウンス(要ログイン)で、S3の一貫性に一部変更があることが発表されました。変更があったのは"US Standard"という聞きなれないリージョンとなります。 リージョン＝US Standard？ S3に詳しい方はご存知かと思いますが、S3のリージョンにバージニア(us-east-1)が存在しません。替わりにUS Standardというリージョンがあります。歴史的経緯もあるのだと思いますが、s3.amazonaws.com（バージニア北部または太平洋岸北西部）とs3-external-1.amazonaws.com（バージニア北部のみ）の2箇所のエンドポイントが使用できます。 何が変わったの？ US Standardは一貫性が他のリージョンと異なっていましたが、他のリージョンと同じ整合性モデルが使用できる様になりました。変更点は
[aws]s3バケットにIP制限をかける
s3にはbasic認証を設定することはできないのですが、IP制限なら設定することができます。 そのやり方を調べてみました。 バケット作成後、「Properties」=>「Permissions」=>「Edit bucket policy」を選択 以下のようなバケットポリシーを設定します。 Resourceにバケット名を入力し、IpAddressに許可したいIPを入力すればIP制限をかけることができます。 ただし、個別にpublic設定にしたファイルにはバケットポリシーが適用されないので注意が必要です。 2015/3/6追記：「"Effect": "Allow"」でアクセス許可設定をするとうまく設定が適用できなかったので「"Effect": "Deny"」を用いるパターンに修正しました { "Version": "2012-10-17", "Id": "S3Policy#{unique_id
![[aws]s3バケットにIP制限をかける](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a64cc21309639f33304c4730f8ddaaf393eeaf8/height=288;version=1;width=512/https%3A%2F%2Fblog.hilotter.com%2Ffavicon%2Fogp.png)
S3とCORS - まめ畑
最近、AWSのサービスも少し様変わりしてきて、インフラレイヤーから、アプリレイヤーまで幅広くサービスが出てきています。SDKも充実してきていて、デバイスやブラウザから直接AWSサービスにアクセスして、S3にデータをUploadしたり、DynamoDBにデータを入れたり、Kinesisにログを流し込んだりなどなど今までサーバをかえして行っていた処理が突き詰めればサーバレスで行えるようになってきました。 もちろん、データを受け取って整形など複雑な処理を行いたいという場合には今まで通りAPIサーバなりを用意する方法になるかと思います。 ここで一つ問題になるのが、認証周りかと思います。例えば、ブラウザやデバイスから直接S3にデータをUploadしたり読み出したりするアプリがあった場合、S3にアクセスするための認証情報をセットする必要があります。このキーの管理はなかなか難しいところがありますが、今ま
Netflix: s3mperを利用してクラウドでのデータ整合性をとる - ワザノバ | wazanova
http://techblog.netflix.com/2014/01/s3mper-consistency-in-cloud.html1 comment | 0 pointsNetflixのDaniel Weeksが同社のエンジニアブログで、クラウドでデータ整合性をとるためのライブラリs3mperをオープンソースとして提供したことを報告しています。 前回のポスト "Hadoop Platform as a Service in the Cloud"では、NetflixのHadoopプラットフォームがどのようにAWSのS3を活用しているかを紹介した。NetflixはS3を全てのデータウェアハウスのSOT (Source of Truth) と見なしている。このサービスには、99.999999999%のデータ永続性、99.99%の稼働率、効率よく容量制限のないストレージ、バージョニング（デー
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
Managing your storage lifecycle - Amazon Simple Storage Service
To manage your objects so that they're stored cost effectively throughout their lifecycle, create an Amazon S3 Lifecycle configuration. An Amazon S3 Lifecycle configuration is a set of rules that define actions that Amazon S3 applies to a group of objects. There are two types of actions: Transition actions – These actions define when objects transition to another storage class. For example, you mi
Django Cloud Browser — Cloud Browser 0.5.4 documentation
Django Cloud Browser¶ Info A Django application browser for cloud (S3, Cloud Files) datastores. Author Ryan Roemer (http://github.com/ryan-roemer) Build Version Cloud Browser is a simple web-based object browser for cloud-based blob datastores. Just add as an application to a Django project, add some settings, and you’ll be able to browse cloud containers and implied subdirectories, as well as vie
HadoopのファイルシステムとしてS3を利用する
EC2でHadoopを使う場合、インスタンスを停止するとデータがなくなる（EBSを使うという手もありますが）関係でデータはS3に置く場合が多いと思います。 その場合、S3からEC2上のHDFSに読み込んでから処理をして最後にS3に書き出すということも考えられますが、やはりS3上のファイルを直接Hadoopのジョブ入出力として使うのが効率が良い。（更に言うと、複数のジョブを実行する時の中間のデータを保存するのにはHDFSを使った方が速い） そもそもHadoopはファイルシステムの部分を抽象化していて、HDFSもその実装の一つに過ぎません。 AmazonS3 – Hadoop Wikiにもありますが、S3を使うための実装には2種類あるので注意。 S3 Native FileSystem (URI scheme: s3n) 普通にS3上のファイルを読み書きするネイティブファイルシステム。H
Welcome to Ceph — Ceph Documentation
Welcome to Ceph¶ Ceph uniquely delivers object, block, and file storage in one unified system. Ceph Object Store RESTful Interface S3- and Swift-compliant APIs S3-style subdomains Unified S3/Swift namespace User management Usage tracking Striped objects Cloud solution integration Multi-site deployment Multi-site replication Ceph Block Device Thin-provisioned Images up to 16 exabytes Configurable s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://docs.confluent.io/current/connect/kafka-connect-s3/index.html
Building a Database on S3
Powering Big Data at Pinterest. Interview with Krishna Gade. | ODBMS Industry Watch
S3をDB利用 ショッピングセンター向けポイントシステム概要
GitHub - Netflix/s3mper: s3mper - Consistent Listing for S3
Logをs3とredshiftに格納する仕組み
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes
Ruby aws-sdk - timeout error