NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大
NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大 Amazonクラウドが提供している「Amazon DynamoDB」は、フルマネージドのNoSQLデータベースです。ほぼ無限にデータベースをスケールさせることができるため容量のことを気にする必要がなく、固定されたスキーマを持たない柔軟性と、SSDを利用することによる高いスループットを実現。NoSQLでありながら一貫性を制御するオプションも備えています。 まさにクラウドの特長を活かしたサービスであるDynamoDBが、JSONドキュメントをデータ型としてサポートしたと発表されました。 これでDynamoDBのスケーラビリティや性能はそのまま、キーバリュー型だけでなくJSONドキュメントも扱えるようになりました。 キーバリューに加えてJSONドキュメントも JSONとは、Jav
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
既存のNoSQL型データベースより10倍高速をうたう「Aerospike」、オープンソースで公開 | OSDN Magazine
NoSQL型データベースを開発するベンチャー企業の米Aerospikeは6月24日、同社が開発するデータベースシステム「Aerospike」をオープンソースソフトウェアとして公開したことを発表した。一般的なNoSQL型データベースの10倍、SQL型データベースの100倍の性能を実現可能とアピールしている。 Aerospikeはインメモリ型のリアルタイムNoSQLデータベース。RAM上にインデックスを、SSD上にデータを配置するといった柔軟性の高いインメモリ技術を持ち、大規模データをリアルタイムで高速に処理できるという。拡張性も高く、またACIDサポートやダウンタイムゼロという特徴もあるとしている。 サーバー側はハイブリッド型メモリシステムとリアルタイムエンジンをベースに、その上でスマートクラスタやデータセンターレプリケーション機能が動く。ノードを追加すると自動でデータの再配置と負荷分散が行
Redis(2.8系)の基本オペレーションとかSentinelの挙動とかの色々メモ - 元RX-7乗りの適当な日々
最近必要に迫られて、ようやくRedisをインストールして触ってみました。(Redis童貞からの脱却) 色々と、基本部分ではあるけど、せっかく実際に触りながら勉強したので、このエントリにメモしておこうと思います。 尚、使ってみたRedisのバージョンは、stableの最新版である2.8.7です。(OSは、LinuxのCentOS 6.5) ちなみに、このエントリに書いていないような、Redisの基本的なアレコレについては、WEB+DB Press Vol.73のRedis特集(2.6向けではありますが)にほとんど書いてあるので読むべし。 WEB+DB PRESS Vol.73 作者: 設樂洋爾,白土慧,はまちや2,大和田純,松田明,後藤大輔,ひろせまさあき,小林篤,近藤宇智朗,まかまか般若波羅蜜,Mr. O,川添貴生,重国和宏,柳澤建太郎,奥野幹也,佐藤鉄平,後藤秀宣,mala,中島聡,堤智
インメモリデータベース「VoltDB 4.0」がリリース、インメモリ分析を高速化 | OSDN Magazine
米VoltDBは1月29日、インメモリデータベース「VoltDB 4.0」を公開した。インメモリ分析の強化、稼働中のクラスタ拡張など、多数の機能が加わっている。 VoltDBはJavaとC++で実装されたインメモリ型リレーショナルデータベースシステム。Ingresなどのデータベース開発で知られるマサチューセッツ工科大学（MIT）のMichael Stonebraker氏らが中心になって開発した。1秒で数百万単位の読み込み/書き出し、ミリ秒レベルでのトランザクション処理といった高速な処理が特徴。シェアードナッシング、ACID準拠、SQLとJSONサポートといった機能を備える。動作環境はMac OS XおよびLinuxで、一部の高度機能が入っていないコミュニティ版はAGPLv3で公開されている。 VoltDB 4.0は2013年1月に公開されたバージョン3.0以来のメジャーリリースとなる。イン
Redis入門 インメモリKVSによる高速データ管理
Redis入門 インメモリKVSによる高速データ管理 Josiah L. Carlson, 長尾高弘（訳） KADOKAWA/アスキー・メディアワークス 3,740円 (3,400円+税) RDBに代わる高速なデータ管理システムであるRedisについて、基礎から、リアルタイムデータの前処理、インメモリ・データセットの管理、pub/sub（パブリッシュ/サブスクライブ）と設定まで解説。 関連サイト本書の関連ページが用意されています。 Redis入門Example code from the book内容紹介Redisとは「remote dictionary server」から名付けられたオープンソースのキーバリューストア（KVS）でNoSQLに分類されるものです。すべてのデータをメモリ上に保存するため処理が極めて高速です。VMwareがスポンサーに付き、Salvatore Sanfilipp
Pythonライブラリメモ
分野別メモ(一部、趣味嗜好による偏りがあります) Contents 日付 webプログラミング データ処理 クライアント WSGI/フレームワーク WSGI/ツール、ライブラリ ストレージ RDBドライバ ORM NoSQL キャッシュ ドキュメンテーション テスト 開発 パッケージング/配備 構成管理 日付 python-dateutil arrow mxDateTime webプログラミング データ処理 simplejson lxml pycrypto クライアント requests openid2rp httplib2 WSGI/フレームワーク pyramid flask bottle wheezy web2py turbogears2 pylons WSGI/ツール、ライブラリ webob pastedeploy repoze.* zope.* jinja2 mako chamel
実用段階に入ったNoSQLをおさらい 「Cassandra」の概要と導入手順・基本設定
ビックデータとは はじめに、Cassandraが得意としているビックデータについて解説します。ビックデータという言葉が一般的に使われていますが、実際のところ何を指すのか、これまでとの違いは何かを説明します。 何に使われているのか 「ビックデータ」とは、通常の処理では処理不可能な膨大な蓄積データを指す言葉です。これまでは、処理することをあきらめていた膨大なデータを処理対象とすることで、新しい答えを見出すことを目指しています。しかも短時間で処理することで、タイムリーな活用を目指すのです。 これまでは、ばらばらに発生していたデータが、通信環境の発達でリアルタイムに収集することが可能になりました。個々のデータは小さくても、大量に集まれば膨大なデータです。せっかく集めた膨大データを活用するために時間が掛っては何もなりません。大量に集めたデータを短時間に効率よく処理して、処理結果を得られる必要がありま
その選択、ちょっと待った！NoSQLデータベースへ乗り換える前に検討すべき3つのポイント
最近、どうも安易に「NoSQLにすれば厄介なDB設計から開放される」と考えている人が多いように思えて仕方がない。だが待って欲しい。本当にNoSQLと呼ばれるデータベースを使えばアプリケーションの開発・運用の苦しみから逃れられるのだろうか。もちろん「そんなことは無い！！絶対にだ！！」と私は考える。今日はその理由について語ろうと思う。 トランザクション先日、リレーショナルデータベースにおけるDB設計についてセミナーで解説したばかりだが、リレーショナルデータベースにおけるデータの整合性は何もDB設計だけが担保しているわけではない。リレーショナルモデルと同じかそれ以上に欠かせないのがトランザクションだ。 トランザクションがあるおかげで、トランザクション終了後のステータスは「成功」か「失敗」の2つしかないということが保証される。すなわちオール・オア・ナッシングだ。もしトランザクションの途中で何らかの
Facebook、Key-Valueストア「RocksDB」をオープンソース化
Facebook、Key-Valueストア「RocksDB」をオープンソース化：C++ライブラリとして構築 米Facebookは、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 米Facebookは2013年11月22日、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 Facebookによると、これまでのアプリケーションでは、ネットワークを介したリモートプロシージャコールによって各アプリケーションが管理しているデータにアクセスするのが一般的だった。しかし12億人のユーザーごとにリアルタイムで動的なページを生成しているFacebookのようなアプリケーションの場合、それでは時間が掛かり過ぎるという難点が
データベースアプリケーション開発を炎上させる負のスパイラル
毎度おなじみ、はてブのホットエントリに「SIをダメにする負のスパイラル」というタイトルのまとめが掲載された。きしだ氏とはかなり視点は違うものの、開発現場の問題点については少し思うところがあるので意見を書いてみようと思う。と言っても、以下の話の内容はデータベースアプリケーションに限定した話であり、またSIerだけに限った話ではないのでその点はご容赦頂きたい。もちろんSIer各位の案件はデータベースは必須なので、本エントリで触れる問題点には該当するだろう。 Q.なぜ炎上するのか？ A.正しいデータベース設計ができていないから結論から言おう。データベースアプリケーションの開発が炎上するのは正しいデータベース設計ができていないからだ。ここでいう「正しい」とは、論理的に証明できる正しさという意味ではない。「本来こうするべき」といった意味で捉えて欲しい。 「炎上」というのは、例えばテストが通らない、バ
AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ
Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。 この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCache、SQS、SNSなどの製品のマネージメントをしているSwami Sivasubramanianらが含まれている。 Dynamoをひとことで表すと分散型でKey Valueストレージで、データの一貫性に関しては結果整合性を保証するサービスだ。なお、AWSで提供されているDynamoDBとは別物なので注意。 原文はこちらから参照できる。今回のポスト中の引用(図や文問わず)はすべてこちらから引用している。 また、既に日本語訳をされている方もいらっしゃるので原文をそのまま日本語でよみたい人はこちらを参照の
JavaScriptだけでAmazonクラウドのストレージ、NoSQLデータベース、プッシュ通知、ソーシャルログインなどを実現する「AWS SDK for JavaScript in the Browser 」公開
JavaScriptだけでAmazonクラウドのストレージ、NoSQLデータベース、プッシュ通知、ソーシャルログインなどを実現する「AWS SDK for JavaScript in the Browser 」公開 クラウドを利用するためのサーバサイドの開発は必要なく、JavaScriptだけでクラウドストレージやNoSQLデータベース、モバイルへのプッシュ通知、ソーシャルログインなどを実現するライブラリ「AWS SDK for JavaScript in the Browser」がデベロッパープレビューとして公開されました。 すでにiOSやAndroidのネイティブアプリケーション開発用には「AWS SDK for Android」と「iOS 用 AWS SDK」が公開されていますが、この「AWS SDK for JavaScript in the Browser」によって、より手軽にブ
エンジニアの総意でMongoDBを採用――メール配信システム「Cuenote FC」11年の歩みを振り返る - はてなニュース
メール配信システム「Cuenote」シリーズを開発・提供するユミルリンクでは、独自のメール配信システムを開発した2002年以降、メール配信のノウハウを継続して蓄積してきた。メール配信システムに対する要求は時代と共に変化している。携帯電話のキャリアメールへの対応、多様なログ解析、そしてスマートフォン対応。メール配信システムの最新技術動向や、それを取り巻く環境の変化について、同社のエンジニアたちに聞いた。 （※この記事はユミルリンク株式会社によるPR記事です） メール配信システムはCuenote FC ■ メール配信の状況は大きく変わったユミルリンクのサービスが配信するメール総数は増え続け、一昨年の月間13億通から、2013年の現在では月間25億通に達している。顧客としても、クックパッド、カルチュア・コンビニエンス・クラブ（CCC）、楽天Edy、東急ホテルズ、サッポロビールなど有力企業が名前を
この1年の優れたIT系書籍はどれか？「Jolt Awards 2013」が5冊を発表
デベロッパー向けに情報発信をしている「Dr. Dobb's Journal」が、この1年に出版されたIT系書籍の中から優れた本を選ぶ「Jolt Awards」が今年も発表されました。 選ばれた書籍を見てみると、まずNoSQLの書籍が入っていることにやや驚きます。しかも著者の1人はあのMartin Fowler氏です。米国では引き続きNoSQLに熱い視線が注がれているのですね。 2冊目のTeam Geekは日本語版が出版されていたので、そちらを紹介しています。これは多くのエンジニアが読みたいテーマではないでしょうか。また、5冊目のリーンUXもチームによる開発について触れられているようです。そのほか、テキスト処理、.NETにおける依存性注入と、どれを見ても濃いテーマが並んでいます。 （以下の各書籍の紹介は、Amazonでの紹介をざっくり訳したものです）。 Jolt Awardsを受賞した5冊の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『Cassandraのデータ設計で注意していること』
Nosqlの基礎知識（2013年7月講義資料）
CyberAgentにおけるMongoDB
Redis勉強会資料(2015/06 update)
後悔しないもんごもんごの使い方 〜サーバ編〜
