DynamoDBでできないこと
この記事について 本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。 第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特性を持っています。 そのためRDBを設計するときと同じようなノリでスキーマ設計・テーブル設計を行うと、後から「この操作をやらせるならDynamoDBじゃないほうが良かったんじゃないか？」ということが発覚しがちです。 本記事では筆者が遭遇した「DynamoDBでやらせてみたら苦労した・できなくて設計変更を強いられた」というユースケースをまとめることで、DynamoDBのクエリ特性や適性を考察することを目指します。 使用する環境・バージョン 2024/1/1
初心者向けにNoSQLを徹底解説
はじめに 「NoSQLと従来のデータベースとの違いは何？」 「NoSQLを開発に使うメリットはどんなのがあるの？」 以上のような疑問に答えるために、今回の記事ではNoSQLの概要や特徴、問題点や主な活用事例を徹底解説する。 今回の記事を通して、NoSQLに対する理解を深めていただければ非常に幸いである。 NoSQLとは NoSQLは、簡単に言えばデータベースの１つである「リレーショナルデータベース」(RDB)とはまったく異なる方法でデータを処理・操作するデータベースを意味する。 RDBはデータを表形式で管理するデータベースだ。イメージとしては、Excelのようにデータを管理するものと言っていいだろう。NoSQLはそのような形式でデータを管理しない。RDBにはMySQLやSQLiteなどの代表的なデータベースが存在するものの、それらのRDB以外のデータベースを分類する言葉がNoSQLである。
DynamoDBの個人的便利ツール(CLI)を作った話
はじめに 私は業務や趣味開発で、DynamoDBを利用することが多いです。特に趣味開発では、オンデマンドモードにしておけば、リクエストが少ない場合ランニングコストがほぼかからないので気軽に立てられます。[1] 使いやすい反面NoSQL特有の制約があります。今回はその制約からくる面倒な作業を単純にするツールddbrewを作成しました。 一応Goで書きましたが、私自身経験がないので、コードは結構ゴリ押しです。。経験者の方からすると、あまり参考にならないと思います。 インストール READMEを参照ください。Homebrew or Goがあれば導入可能です。 バックアップ ひたすらScanを繰り返して、jsonl形式のファイルに書き込む機能です 用途とか DynamoDBは、DyanmoDB自体の機能とAWS Backupを使ったバックアップ方法があります。ただアカウントを跨いだり、ライトにデー
NoSQLデータモデリング技法 · GitHub
NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
NoSQLについて勉強する。 - Qiita
と名だたるIT企業が立て続けにRDBMS製品をリリースし、この時期にリリースされた上記のDBによって現在のRDBMSシェアは9割を超えると言われています。 このように、多数のデータベース製品がリリースされた背景には、1970年～1990年頃においてビジネスフィールドへのITシステム導入が急速に進んだことがありました。 この時代ではまだ世の中はパソコン/インターネット時代には到達していないため、この時代のITの中心は正にこうしたデータベースによる情報管理そのものにあったと言っても過言ではありませんでした。 広義のDBMS(データベース管理システム)としてはリレーショナル型の他にネットワーク型、カード型、階層型などがありますがビジネスモデル(トランザクションの必要性など)に最もよく合致したのがRDBMSでした。RDBMSにおける"リレーショナル"とは 個々のデータ(レコード)がいくつか属性(カ
2020年現在のNewSQLについて - Qiita
Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
Redis 本番障害から学んだコードレビューの勘所
Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以
BigQueryことはじめ。あとBigQueryについて料金とか運用とか調査 - Qiita
まだ入門もしてないので「ことはじめ」じゃないです。 大体触ってみたのを載せます。 Wikipedia 集計 サンプルデータのwikipediaを集計してみました。 データは3億行ほどあり、サイズは36GBほどあります。 今回は、contributor_usernameを集計し、wikipediaに貢献している人ランキングをつくりました。 上位陣はbotさん達ですね。 結果としては、3億行のデータを、 何も考えずに書いて 16.2秒で集計することが出来ました。 3億行を16秒。 countしなければ3秒くらいで終わります。 MapReduceみたいなのを一切書いてないのにこの速度。 ちなみにテーブルはインデックスしているわけではなく毎回フルスキャンしているらしい。 わお。 データ保管: \$0.026/GB/mo クエリ: $5/TB (スキャンしたデータのサイズで課金) 今回のwikipe
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
下記のしすなま!録画と併せてご覧ください。資料・録画の内容は生放送時点のものです。 第31回「今アツい、分散ストレージを語ろう」(2013/11/28) <出演①> 織 学 日本アイ・ビー・エム(株) ATC. Linux/OSS & Cloud Support Center <出演②> 石川 公基 日本アイ・ビー・エム システムズ・エンジニアリング(株) 仮想インフラ・ソリューション <出演③> 半田 達郎 日本アイ・ビー・エム(株) システムｘ事業部．テクニカル・セールス <出演④>早川 哲郎 日本アイ・ビー・エム(株) システムズ & テクノロジー・エバンジェリスト http://www.ustream.tv/channel/systemxlive#/recorded/41180609Read less
Facebook、Key-Valueストア「RocksDB」をオープンソース化
Facebook、Key-Valueストア「RocksDB」をオープンソース化：C++ライブラリとして構築 米Facebookは、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 米Facebookは2013年11月22日、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 Facebookによると、これまでのアプリケーションでは、ネットワークを介したリモートプロシージャコールによって各アプリケーションが管理しているデータにアクセスするのが一般的だった。しかし12億人のユーザーごとにリアルタイムで動的なページを生成しているFacebookのようなアプリケーションの場合、それでは時間が掛かり過ぎるという難点が
FuelPHP で DynamoDB
2014-08-23 FFTT社内勉強会#202 LT 弊社フィードフォースの技術チームの社内勉強会（LT回）で発表したスライドです。
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。
【HTML5】Indexed Database API を真面目に勉強してみる | DevelopersIO
最近、HTML5アプリ案件でローカルにデータを保存する必要があり、Local Storageを使うかIndexed DBを使うか検討しました。 その際、Indexed DBに関していろいろと調査したので残しておきます。 Indexed Database APIとは キー・バリュー型のデータベースです。まだワーキングドラフト(草案)の状態のため今後、仕様が変わる可能性があります。 ネットで探すとIndexed DBの記事は見つかるのですが、記事が古いとエラーが発生しました。この記事のソースコードも今日時点(2013/4/25)では動きますが今後動かなくなる可能性があります。 Local Storageと何が違うのか Local Storageと違うところは以下の３点です。 Indexed DBはキー以外の項目にインデックスを張ることでキー以外の項目も検索条件にできます。 Indexed DB
ドキュメント指向のNoSQLデータベース（CouchDB、MongoDB）編
書籍紹介 本連載は下記書籍から第5章を基に、＠IT向けに再構成して掲載しています。 目次 序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっていま
DynamoDBによるソーシャルゲーム実装 How To
This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://griddb.org/griddb/
Realm with ContentProvider
はじめての BQ GAS
Aerospike, Cassandra, Couchbase、MongoDBを比較したNoSQLベンチマーク
