スキューのない世界を目指して - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いたりしています。 突然ですが、スキュー(skew)という単語をご存じでしょうか。 「skew 意味」で検索すると「斜め」とか「傾斜」といった訳が出てきますが、コンピューティング界隈では「偏り」という訳語が定着していると思います。 さらに、分散並列DB界隈で単にスキューもしくは偏りと言った場合、それはしばしばデータの偏りを指します。 データが偏っているとは データが偏っているとは、複数ノードで構成される分散並列DBにおいて、各ノードが保持するデータ量（行数）に
複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog
こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。 今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6「Shardingマジ怖い」tech.kayac.com Advent Calendar 2012)。 こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速
分散型NoSQLのAerospikeを触ってみようぜ！（導入編） - 多趣味なやつの雑談
今回は Speee Advent Calendar 2015 - Qiita 22日目です。 昨日の記事はTei1988さんのPebble Watchでmrubyを試す（まだ動かせて無いよ編） - Qiitaでした。 Aerospikeとは？ 前から気になってた分散型NoSQLのミドルウェアだったんですが有料版しかなかったので、なかなか試すことができない状態でした。しかし最近OSS化されたのでお手軽に試すことができるようになりました。 詳しい紹介はWEB+DB PRESS Vol.87｜技術評論社で紹介されてます ！ 特徴としてはトランザクションを備えつつ高速な処理を実現しスケールが楽にできるらしい ということでアド業界では注目されておりすでに導入している企業も多いようです スマホ広告向けソリューションツール「F.O.X」、ミドルウェア「Aerospike」を採用し、広告効果測定におけるデ
NoSQLデータベース：調査と決定のガイダンス（その1） | POSTD
(訳注：2016/10/1、頂きましたフィードバックを元に記事を修正いたしました。) 先月、ハンブルク大学の同僚たちと一緒に SummerSOC 2016 でNoSQLの状況についての講演をしました。メンバーは、 Felix Gessert 、 Wolfram Wingerath 、 Steffen Friedrich 、 Norbert Ritter でした。今回はその講演の要点を記事にまとめました。 Baqend を設立して集めた、私たちのNoSQLの濃厚な知識が皆さんに伝われば幸いです。 要約 現在、データはかつてない規模で生み出され、消費されています。増え続けるデータ量とリクエスト負荷に対応するために、「NoSQL」データベースシステムという用語で包括されるスケーラブルなデータマネジメントの新しい方法が産み出されてきました。しかし、数多く存在するシステムは、不均一で多様性があるので
Private Presentation
The future of SEO is trending toward a more human-first and user-centric approach, powered by AI intelligence and collaboration. Are you ready? Watch as we explore which SEO trends to prioritize to achieve sustainable growth and deliver reliable results. We’ll dive into best practices to adapt your strategy around industry-wide disruptions like SGE, how to navigate the top challenges SEO professio
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた こんにちは、インフラエンジニアの nobuh です 分散DBという夢 クラウドのデータベース界隈では昨年くらいから MySQL 互換のクラウドでのデータベース、Amazon Aurora や Google Cloud SQL がホットな話題だと思います。 それはデータベースの黎明期から研究の場では分散データベースというのが大きな研究分野になっていて、RDBMS でありながらもスケールアウトが可能で耐障害性もあり、そして実用的な速度で稼働できるデータベースというのがデータベースエンジニアの約束の地、最後の楽園となっているからです。またその分散データベースが MySQL 互換で WordPress も動けばもう最高です。 Google Cloud SQL の元となっているらしい Google の F
最新のデータベース技術の方向性で思うこと
The document discusses stream processing and distributed streaming platforms. It describes how streaming data is partitioned and processed in parallel across clusters. Key concepts discussed include the stream-driven programming paradigm, streaming transformations like map, flatmap, and filter, and streaming state management using techniques like key-value pairs and windows.Read less
アプリケーションのレベルでこそ要求に合ったトランザクションが実装できる～業務システムをRDBなしで作れるのか？（中編） エンジニアサポートCROSS 2016
アプリケーションのレベルでこそ要求に合ったトランザクションが実装できる～業務システムをRDBなしで作れるのか？（中編） エンジニアサポートCROSS 2016 数年前にNoSQLが登場した当時、NoSQLにはデータの一貫性を保証してくれるトランザクション機能などが十分に備わっていないため、業務システムのバックエンドとして使うのは容易ではないと考えられていました。 しかしその後、NoSQLをバックエンドにした業務アプリケーションは現実にはいくつか登場してきています。ワークスアプリケーションズが2014年に発表したERPの「HUE」もCassandraをバックエンドに採用した、本格的な業務アプリケーションです。 そのHUEの開発に関わるスタッフが、どういう実装ならばNoSQLが業務アプリケーションのバックエンドに使えるのか、それにはどういう意味があるのか、などについて議論したセッション「業務シ
クラウド時代の分散データベースを支える技術の応用と進歩 - kuenishi's blog
teespring.com 分散データベースというのは、それ単体でもとても難しい、データベースと、分散システム双方の技術の粋を結集して実現されるアプリケーションだ。これをサービスといったり、ミドルウェアといったりする場合もあるが、今回は技術を応用してつくったものという意図でアプリケーションと位置づけることにする。まあ古くて新しい問題で、死屍累々の世界でありながら、それでいて金の鉱脈でもある世界だ。イカのようなトピックを概説していくことで、近年の流れをメモしておきたい。 Pre-cloud era: クラウド以前の時代 BigTable, DynamoとCAP定理 MegaStore 研究: Calvin Jepsen: できたら☎してよ〜 Coordination free database Spanner: 何でもできるよ！！ Kudu+Impala Next? クラウド以前の時代 Sy
ウェイトフリー性の証明について - くまメモ
気が向いたら書くと言ってしまったので忘れないうちに書く。 飢餓状態とは スレッドAが操作xを試みる スレッドBが操作yを試みる スレッドCが操作zを試みる という状況の時に、このアルゴリズムがLock-Freeである場合。すなわちスケジューラがどうスケジュールしても少なくともどれか1つのスレッドの操作が成功してしまう事が避けられない場合であってもスケジューラは特定のスレッドの操作だけを意図的に妨害する事は可能であることが多い。 例えば前回の記事のLock-Free Stackを例に話すと スレッドAがCAS（α→β）を試みようとする スケジューラがスレッドBのCASが成功するようスケジューリング 1〜2を繰り返し こうすれば理論上スケジューラはスレッドAに無限クロックのCPUを食わせながらも、無限にスレッドAのCASを成功させない事が可能だ。 このような状況の事をStarvation(飢餓
ロックフリー性の証明について - くまメモ
http://www.slideshare.net/kumagi/lock-free-safe?next_slideshow=1 とか過去に自分で書いておきながら、その当時の自分の認識が甘かった事もあるのでここに一度書き出しておく。 Lock-Freeは「ロックを使わない事」ではない STMの事をもってしてLock-Freeと呼んでる文脈はいっぱいあるけれど、STMの実装にロックを使う事は一般的だし、それは正しい専門用語で言う所のLock-Freeとは呼ばない。 Lock-Freeとは「どんなスケジューリングが為されようともどれかの操作が進行する」という進行保証(Progress Guarantee)を表している。 スケジューリング？ マルチコアCPUでもシングルコアCPUでも、OSは実行中のプログラムを任意のタイミングで強制的に一時停止させて他のプログラムにCPUリソースを割り当てる事が
強固なデータ・インフラストラクチャを構築するためのログの活用（デュアル書き込みがダメな理由）PART 2 | POSTD
PART 1.はこちら : 強固なデータ・インフラストラクチャを構築するためのログの活用（デュアル書き込みがダメな理由）PART 1. ログが使われる場面について4つ説明したいと思います。まずデータベースストレージエンジンの内部です。 B-tree はアルゴリズムの授業で学びましたよね？ ストレージエンジンに広く使われているデータ構造です。ほぼ全てのリレーショナルデータベースと、多くの非リレーショナルデータベースで使われています。 B-treeについて簡単に説明しましょう。B-treeは、ディスク上で固定長のブロックとなる ページ から構成されており、通常、その固定長は4KBか8KBです。ある特定のキーを探したい時は、まずtreeのルートにあるページから探索を始めます。そのページは他のページへのポインタを内包していて、各ポインタはキーのレンジ（範囲）にタグ付けられています。例えば、もしキー
クラウドでの新しいACID、そしてBASEトランザクションとCAP定理 - Fight the Future
クラウドではアーキテクチャやプログラミングモデルが今までと変わる。 QConでは複数の人からそういう話が出ていた。 ちょっと自分なりにまとめてみる。間違っているかもしれないので、見つけた人はご指摘ください。 新しいACID 従来のモデルでのACIDは、特にRDBMS関連でよく耳にすると思う。 Atomic(原子性) Consistent(一貫性) Isolated(独立性) Durable(永続性) だ。 QConでGoogleのGregor Hohpe氏は、クラウドにおいてACIDは次のような意味になると言っていた。 資料はここ。https://sites.google.com/site/gcodejp/slides/ProgrammingCloud_QCon.pdf?attredirects=0 Associative(結合の) Commutative(相互の) Idempotent(
グローバルトランザクション／分散トランザクションについて - スティルハウスの書庫の書庫
「グローバルトランザクション」という言葉の意味について、昨日の飲み会で議論になったので、まとめ。 グローバルトランザクションと分散トランザクション グローバルトランザクションは、分散トランザクションと同義です。グローバルトランザクションは複数のリソースマネージャを含むトランザクションを指します。一方、ローカルトランザクションは単一のリソースマネージャ（DB等）のみで構成されるトランザクションを指します。 http://download.oracle.com/docs/cd/B14117_01/java.101/b10979/xadistra.htm#i1066628 A distributed transaction, sometimes referred to as a global transaction, is a set of two or more related transac
分散KVS上でのトランザクションについて@stakezakiさんとお話
トランザクションをサポートした単体KVSをConsistentHashingで散らしてる物で、そもそもノードを跨ぐ分散トランザクションなんて必要なかったんだよ！という設計方針という理解。違ってたら訂正してください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://redmine.syonbori.info/projects/db-research/wiki/Wiki
No Compromises: Distributed Transactions with Consistency, Availability, and Performance | the morning paper
GitHub - pingcap/tidb: TiDB is an open-source, cloud-native, distributed, MySQL-Compatible database for elastic scale and real-time analytics. Try AI-powered Chat2Query free at : https://www.pingcap.com/tidb-serverless/
WALをバックアップとレプリケーションに使う方法
GitHub - apache/pinot: Apache Pinot - A realtime distributed OLAP datastore
