【ヽ´ん`】 @dev_momen NoSQLの争いは、実際のデータ構造についてwide, tall, fatどれに需要があるのかにかかってくる。(´･ω･`) 2010-04-25 21:58:12
データ構造(wide, tall, fat)によるデータストアの分類
【ヽ´ん`】 @dev_momen NoSQLの争いは、実際のデータ構造についてwide, tall, fatどれに需要があるのかにかかってくる。(´･ω･`) 2010-04-25 21:58:12
ジェミナイ、独自開発キー・バリュー型データストア「Hibari」をオープンソース化
ジェミナイ・モバイル・テクノロジーズは2010年7月14日、キー・バリュー型データストア（KVS）「Hibari」をオープンソースソフトウエアとして公開した。Hibariはジェミナイが独自に開発したKVSで、数十台～数百台のPCサーバーにデータを分散保存することで、大容量・高速のストレージを安価に実現できることが特徴。中国の大手携帯電話会社が運用するSNS（ソーシャル・ネットワーキング・サービス）や、日本の大手Webメールのストレージとして採用された実績がある。 Hibariが対象としているのは、テキストデータや写真、動画などのデジタルコンテンツ、様々なシステムのログデータなど。中国の大手携帯電話会社が運営するSNSは写真などのストレージとして、日本の大手Webメールはユーザーのメールボックス（各ユーザー当たり数Gバイト）の保存先として、それぞれ利用している。プログラムは、関数型言語の「E
ブロックアルゴリズムとB-Treeアルゴリズム
ファイルサーチを高速化するB-Treeアルゴリズム ext2、ext3がベースとするブロックアルゴリズムは、ブロック数が対応するディスクのジオメトリ数に制限されること、ファイルサーチにO（n）かかる（注）こと、ファイルサイズに関係するパフォーマンス低下など、いくつかの問題があった。 注：「O（n）」とは、実行時間が入力の大きさ「n」に比例するアルゴリズムである。O（n）は「nのオーダー」または「オーダーn」と読む。後述する「O（log n）」は、アルゴリズムの計算量に関する議論の場合logの底は常に2で、O（log n）の方がO（n）よりも効率が良い。例えばn＝8の場合、O（log n）は入力8に対して3回の実行で済むが、O（n）は8回の実行となる。 ReiserFS、JFS、XFSといったファイルシステムでは、こうしたブロックアルゴリズムの限界に対して、早い段階からデータベースの技術をフ
Hypertable vs. HBase Performance Evaluation « The Hypertable Blog
In our initial blog post, Why We Started Hypertable, Inc., we mentioned that achieving optimum performance has been one of the project’s most dominant guiding principles. As a result, we made the decision to do the implementation of Hypertable in C++. Today, we are pleased to publish our first set of benchmark results, comparing the performance of Hypertable with that of HBase. These results de
インデックスについて - SQLer 生島勘富 のブログ
インデックスが分かってない人が非常に多い。 現実にあった例で、60カラムあるテーブルに、前から3つずつの複合インデックスを20個作るとか、30カラムを1つの複合インデックスにするとか、意味が分かっていない人が非常に多くいます。 ※ 詳しい人へ。ここでは、インデックス = B-Treeインデックスと考えてください。 インデックスとは インデックスとは、そのままズバリ「索引」のことです。 身近な例ではカラオケがあります。いわゆるカラオケ本がインデックス。リモコンで押す番号が主キー、流れる音楽・映像が実レコードと考えてみてください。 カラオケ本は「歌手名順」と「曲名順」の2つは最低限あると思います。 これらは、 歌手名順は、「歌手名・曲名」の組み合わせの複合インデックス。 曲名順は、「曲名・歌手名」の組み合わせの複合インデックス。 と考えることができます。 想像してみてください。小学生でも「アン
HMaster Japan: HBase入門（第2回） - 6月28日発表
2010年6月28日月曜日 HBase入門（第2回） - 6月28日発表 本日の Hadoop ソースコードリーディング（第3回）にて、HBaseを紹介します。 HBase の基本動作 -- write と read HBase と Cassandra -- トレードオフを理解する HBase 0.89 開発者向けリリースについて 前回の発表内容の続編です。 スライドは事前に公開するつもりでしたが、作業時間が思うようにとれず、ぎりぎりになってしまいました（仕事と育児と家事の合間、つまり、主に通勤時間の電車の上でやってました） 特に、Cassandraの開発チームのレビューは実現したかったのですが、英訳が間に合わず、残念です。 Cassandra については、あまり詳しくないので、 Twitter 上でのみなさんの意見がとても参考になりました。特に、@shot6さん、@yukimさん、
独り言v6 » VoltDBは何故早いのかは問題ではない。何をするためのシステムなのかが問題だ
ちょっと小旅行に出ている間にアクセスが伸びていて、おかげさまで前回のVoltDBのエントリが大人気だったようだ。まだまだ書き足りない部分がいっぱいあったので、補足する意味も込めて書き足してみたい。それは、H-Storeが従来型RDBMSとどれほど異なったシステムか、ということだ。インターフェースの話や大まかな話はしたが、前提となる部分の話はずいぶん抜けてしまっていた。 NoSQLを超えるSQLデータベース「VoltDB」。Cassnadraとベンチマーク対決！ で、実際にCassandraと比べて検討している Key-Value Benchmarking という記事が紹介されていて興味深い。で、なおかつ勝っていると言うから痛快だ。まあ個人的にはこの勝負は高々３ノードしか使っていない時点でスケーラビリティに勝るKVSにずいぶん不利な内容だな、と言わざるを得ない。せいぜい12ノードぐらいでしか
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
独り言v6 » VoltDB登場 – RDBMSのようでRDBMSではない新システム
最近また超並列DBのデザインを進めたりRethinkDBの話を書いてみたりとまたRDBMSづいているが、そんなことをしているうちに世の中では実際に並列DBが登場してしまった。 INGRES,POSTGRES,Illustra（と、誰も知らないMariposa)と、RDBMSの世界で革新的な仕事をしているMichael Stonebraker博士。最近何やっているのかと思ったらいつの間にやらH-Storeなる新型のストレージに携わっていて、それがいつの間にかSQL機能をもってVoltDBというプロダクトとしてやってきた。かれこれ40年近く業界の第一線にいることになる。 「NoSQL」を上回る性能を目指す次世代型高速SQLデータベース「VoltDB」登場 などという記事を見てびっくりした次第だ。NoSQL並の性能とRDBMS並のACID準拠、そしてSQL構文が使えるという、これまた夢のようなシ
The architectural assumptions of H-Store | DBMS 2 : DataBase Management System Services
I wrote yesterday about the H-Store project, the latest from the team of researchers who also brought us C-Store and its commercialization Vertica. H-Store is designed to drastically improve efficiency in OLTP database processing, in two ways. First, it puts everything in RAM. Second, it tries to gain an additional order of magnitude on in-memory performance versus today’s DBMS designs by, for exa
VoltDB and H-Store | DBMS 2 : DataBase Management System Services
Analysis of OLTP DBMS research project H-Store and its commercialization VoltDB. Related subjects include: Key H-Store researcher and VoltDB company founder Michael Stonebraker OLTP (OnLine Transaction Processing) database management Memory-centric data management Parallelization Vertica Systems, which is incubating VoltDB Optimism, pessimism, and fatalism — fault-tolerance, Part 2 The pessimist t
Kyoto Cabinet 1.0.0リリース！ - mixi engineer blog
夏が近づくとウキウキしてくるmikioです。昨日ついにリリースされたKyoto Cabinet 1.0について今回は報告します。 1.0の位置づけ コミュニティ毎や製品毎にバージョン番号割り当ての方針は異なるわけですが、私の個人的なポリシーでは、1.0には特別な意味があります。すなわち、0.xのバージョンはbeta版的な位置づけで、「実サービスに使うのはちょっと待った方がいいですよ」ということを意味します。一方で、1.xはstable版的な位置づけで、「よろしければ実サービスでも使ってみてください」ということを意味します。私がstable版に設定する原則を以下に列挙します。 安定稼働を至上命題とする（バグがあればその修正を最優先する） APIを変更しない（変更するとしても後方互換性を維持する） DBファイルのフォーマットを変更しない（変更するとしても後方互換性を維持する） なるべく機能追加
KumoFS, a database success story
Superfeedr is growing, and we want to add value for our clients. Our newest feature requires us to store a lot of data, so we went out to look for appropriate solutions in the NoSQL ecosystem. The first decision was Riak, featuring persistent storage on disk and a very tunable clustering layer. The current use-case consists of simply pulling a feed from the database, extend it with the newest entr
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
Understanding Cassandra Code Base | PrettyPrint.me
Lately I’ve been adding some random small features to cassandra so I took the time to have a closer look at the internal design of the system. While with some features added, such as an embedded service, I could have certainly get away without good understanding of the codebase and design, others, such as the truncate feature require good understanding of the various algorithms used, such as how
MySQLコミュニティ騒然！MySQL 5.5.4が与えるインパクト。
先週、MySQL Conference & Expo 2010が開催され、盛況のうちに終了した。カンファレンスに合わせる形で、MySQL 5.5.3および5.5.4がリリースされたのだが、これが目を見張るような進化を遂げている。特に性能面での進化には目を見張るものがある！Jeremy ZawodnyやMark Calleghanといったコミュニティの重鎮たちも「非常にエキサイティングなリリースだ！」などと表して歓迎の意を表している。 というわけで、本日はMySQL 5.5.3/5.5.4の新機能および変更点についてレビューしてみよう！ おさらい。 〜 MySQL 5.5の既存の機能 〜MySQL 5.5が登場したとき、その新機能については以前にもエントリで紹介したが、ここで改めておさらいしてみよう。MySQL 5.5は、正確にいうと現在最新バージョンであるMySQL 5.1の「次の次」のバ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Oracle
Index of /erlang/edtk
Erlang plus BDB: Disrupting the Conventional Web Wisdom
http://1978th.net/tech/promenade.cgi?id=76