Amazon DynamoDB - Qiita
DynamoDB はキーバリュー（ワイドカラム型）でデータを簡易に操作することが主要な役割です。 3.特徴 無制限に性能を拡張できます。 SSDに保存され、シンプルなクエリ言語によって、安定した低レイテンシーのクエリパフォーマンスが実現可能です。 高可用性、3AZに保存されます。 マネージド型のためメンテナンスがいりません。 プロビジョンドスループット。テーブルごとにRead（RCU）とWrite（WCU）に必要なスループットキャパシティを割り当てることが可能です。なお、スループットキャパシティの変更は無停止で行うことが可能です。 新機能 – DynamoDB Transactions 更新 (または削除) しているクライアント側の項目が、Amazon DynamoDB の項目と確実に同じになるようにするためのオプティミスティックロックをサポートしている。 条件付き書き込みが成功するのは項
DynamoDBの各データを自動で削除する機能（TTL:Time to Live）を試してみた | DevelopersIO
はじめに サーバーレス開発部の藤井元貴です。通勤しないと運動不足になる気がします。あとポケモンGOの卵が孵化しません……。 DynamoDBのTTL（Time to Live）機能は、レコード毎にデータの有効期限を指定でき、その有効期限を過ぎるとデータが自動削除されます。 そのため、「不要なデータを削除するバッチ処理的な仕組み」が不要になります。これは嬉しいですね！！ 具体的にどう設定すれば良いのか分かりにくかったため、実際に試してみました！ おすすめの方 DynamoDB TTLについて知りたい 最初にまとめ カラムで指定した有効期限を過ぎると、自動でデータが消える 有効期限はNumber型のUnixtime（ミリ秒無し）を指定する 有効期限は日本時間でOK（東京リージョン） 削除処理はバックグラウンドで動く データの読み込みまたは書き込みのトラフィックに影響を与えない データは48時間
【超入門】RDBとNoSQLの違いに着目！NoSQLに求めるものとは？ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、MasaKuです。 ビッグデータという言葉をよく目にしますが、その背後にある技術についてはあまり理解していませんでした。 そこで、ビッグデータを支える技術のひとつであるNoSQLについて興味が生まれたので、今回の記事では、NoSQLについて勉強した結果についてまとめようと思います。 （本記事の執筆には以下の書籍を参考にさせていただきました） NOSQLの基礎知識 ビッグデータを活かすデータベース技術 はじめに NoSQLとは RDBとの違い NoSQLに期待すること NoSQLのデータモデル キーバリュー型 カラム指向型 ドキュメント指向型 グラフ型 おわりに 参考文献 はじめに 現在、Twitterは、１日あたり１０テラバイトを超えるデータを扱っているそうです。 10テラバイトというと、書籍一冊のデータ量（５０万文字）とすると書籍１０００万冊分に相当します。 モバイルデバイス
AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.06.17 ｜ Writer：H.Mori AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス 多くのユーザーが頻繁に訪れて利用するオンラインサービスは、大量のデータを滞りなく処理し、さらに拡張していく必要があります。では、このようなデータ管理を効率的に行うにはどうすればいいのでしょうか？ AWSではそのひとつの答えとして、数ミリ秒台のパフォーマンスを実現するデータベースである「Amazon DynamoDB」を提供しています。本コラムではその特徴や利用例を紹介します。 大量データを高速に処理し、無限の拡張性を持つべく誕生したAmazon DynamoDB インターネット上で展開される、広告やゲーム、メディア配信、ショップ、金融、予約、IoTなど、非常に多くのユーザーの要求に対応しデータ処理を迅速に行うことが必要なビジネスが急成長しています。こ
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1）
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） ERPベンダ最大手のSAPは2010年、新規に開発したデータベース「SAP HANA」（当時の名称は「SAP High-Performance Analytics Appliance」）を発表しました。 HANAの製品化を背景に、SAPは2012年5月にデータベース市場への本格参入を宣言し、オラクルやIBM、マイクロソフトとデータベース市場で競合していくことを表明。そして今年2013年2月にはついにERPと組み合わせた「SAP Business Suite powered by SAP HANA」の出荷を開始し、業務アプリケーションのバックエンドデータベースとしてHANAの本格利用を開始しました。 HANAには、これまで主流だったリレーショナルデータベースとは異なる
最近話題の「カラム型データベース」とはどんな仕組みのデータベースか？
トランザクション処理を重視する一般的なデータベースは、1行ごとにデータを扱う。カラム型データベースはそれとは異なり、列方向にまとめでデータを扱うことで集計作業などを得意とし、データウェアハウス用途などに用いられている。 「カラム型」あるいは「カラムストア型」「列指向型」などと呼ばれるデータベースの話題が目立つようになってきました。 例えばSAPのHANA、IBMが買収したNetezza、ヒューレット・パッカードが買収したVertica、オラクルのExadata、それにNoSQLの代表的なデータベースCassandraなどがカラム型データベースの機能を備えています。また、マイクロソフトの次期SQL Serverにもカラム型データベース機能が統合されると伝えられています。 とはいえカラム型データベースは最近登場した技術ではなく、Sybase IQでは10年以上前から採用されていた仕組みでした。
大規模システムにおけるディレクトリ構成をRDBのカーディナリティを参考に考える - ぷらすのブログ
モノリシックなプロジェクトにおいて、トップレベルのディレクトリ構成が異なる 2 つのディレクトリ構成を考え、それらの違いは何で、どちらが優れているか？という問いについて考えた。そして、「複雑な概念をトップレベルのディレクトリ構成にした方が良いのでは？」という結論に落ち着いた話をする。 はじまり ちょっとしたシナリオを想像してみよう。 プロジェクト立ち上げ期 「最近のトレンドはレイヤードアーキテクチャだ！」 そう言って、プロジェクトはスタートした。 . ├── application │ ├── xxx_usecase.go │ ├── xxx_repository.go │ ├── yyy_usecase.go │ └── yyy_repository.go ├── domain │ ├── xxx.go │ └── yyy.go ├── infrastructure │ └── xxx_
Prestoで配列を行に変換する - Qiita
配列 -> レコード 配列が入っているカラムをそれぞれ別レコードに変換したい 例えばtblテーブルのtime_rangesカラムに以下のような配列が入っているとする。 ["16:00~16:30","16:30~17:00","17:00~17:30","17:30~18:00","18:00~18:30","18:30~19:00","19:00~19:30","19:30~20:00","20:00~20:30","20:30~21:00","21:00~21:30"]
カーディナリティについてまとめてみた - Qiita
カーディナリティとは テーブルにカラムがあるとして、カラムに格納されているデータの種類がどのくらいあるのか(カラムの値の種類の絶対値)を、カーディナリティという。 具体例 カーディナリティが低い場合 例えば性別なら、男と女の二種類である。 カラムのデータの種類が、テーブルのレコード数に比べて二種類と少ない。このことを カーディナリティが低い という。 カーディナリティが高い場合 一方顧客番号ならたくさんの種類(番号)が存在することになる。 カラムのデータの種類が、テーブルのレコード数に比べて多い場合、 カーディナリティが高い という。 カーディナリティを踏まえたインデックスの張り方 基本的に、 カーディナリティの高い列に作成する 必要がある。 はじめに、カーディナリティは カラムの値の種類の絶対値と書いたが、先程の例で言うと性別のカーディナリティは2になる。他にも例えば１年間の日付なら1〜
The History of Distributed Databases - Google, Amazon, Facebook など巨大企業による分散データベース技術の発展 | Wantedly Engineer Blog
こんにちは、Wantedly の Infrastructure Team で Engineer をしている南（@south37）です。 今日は、WANTEDLY TECH BOOK 5 から「巨大企業による分散データベース技術の発展」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog （本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANT
MongoDB のクエリ $in と $or について調べてみた :: by and for engineers
> db.animals.find({}).count(); 100248 > db.animals.getIndexes(); [ { "v" : 1, "key" : { "_id" : 1 }, "ns" : "document.animals", "name" : "_id_" }, { "v" : 1, "key" : { "type" : 1 }, "ns" : "document.animals", "name" : "type_1", "background" : true } ] > db.animals.find({ type: { $in: ["dog", "cat"] } }).explain(); { "cursor" : "BtreeCursor type_1 multi", "nscanned" : 3470, "nscannedObjects" : 3469
世界第4位！最有力NoSQLデータベースMongoDBはRDBとどう違うのか？特徴と使い分け | tracpath:Works
世界第4位！最有力NoSQLデータベースMongoDBはRDBとどう違うのか？特徴と使い分け By tracpath • 2016-07-08 • Development はじめに 昨今、AjaxやWebAPIは広く普及し、ほとんどのウェブサイトで使用されるようになりました。それを支えているのは、JavaScriptとJSONです。もちろん、今やAltJSやYAMLなど、多数の関連技術が生み出され利用されています。とはいえ、ベースとなっているのはJavaScriptとJSONですから、これからも基盤技術として長い間利用されることでしょう。 最近では、TwitterなどのSNSからWebAPIでデータを取得できることもあり、分析やシステムでの利用のために、JSONを保存する必要が出てきました。しかし、従来のRDB（リレーショナルデータベース）では、階層的なJSONのスキーマ定義をすることは困
アルゴリズムとデータ構造から理解するRedis / Learn Redis from Internal Algorithms and Data Structures
2019年新卒研修で使った資料です。 内部実装の雰囲気を感じとりながら、Redisについて理解を深める研修を行いました。 以下の内容について学びました。 1. Redisの概要 2. 社内での利用方法 3. 正しい用法用量 Redis についての前提知識は必要としていません。C言語の基礎的な知識は前提とします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://d1.awsstatic.com/webinars/jp/pdf/services/20170809_AWS-BlackBelt-DynamoDB.pdf
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
https://twitter.com/riywo/status/1548306970616090625?s=12&t=Unmm7-IfGcJBxLhqRbFQDw
Ryo Chikazawa | Autify CEO on Twitter: "なんと、Redashのホスト版が終了。買収されたDatabricksの方に注力するとのこと。 https://t.co/4z8vTlGKqk"
MongoDBが遅いときの切り分け方法
RDBMS in Action
村上昴平@エンジニア on Twitter: "『MongoDBの様なNoSQLに勢いがあるのは何故ですか？SQLと比べてどんな利点や欠点がありますか？』 凄い記事って中身難しくて長くても、読み入るな...... 該博な圧倒的解答は勿論、データベースの歴史や、アルゴリズムの… https://t.co/csd3HIehBO"
