ソート可能なUUID互換のulidが便利そう - Qiita
UUIDは重複しないIDを生成する手段として便利ですが、特にversion4(乱数によるUUID)を利用する場合は一意性を得るのと同時に乱雑さも得ることになりますので、UUIDに順序性を求めることができません。 UUID - Wikipedia https://ja.wikipedia.org/wiki/UUID UUID（Universally Unique Identifier）とは、ソフトウェア上でオブジェクトを一意に識別するための識別子である。UUIDは128ビットの数値だが、十六進法による550e8400-e29b-41d4-a716-446655440000というような文字列による表現が使われることが多い。元来は分散システム上で統制なしに作成できる識別子として設計されており、したがって将来にわたって重複や偶然の一致が起こらない前提で用いることができる。 UUIDだと実現できない
名前のヨミガナというパンドラの箱が開きかかっている｜たまにメモする人
氏名のヨミガナが話題になっています。漢字氏名問題が解決し、パンドラの箱と言われていた氏名のヨミガナについての検討が始まっています。ヨミガナ問題は、漢字６万文字に対してヨミガナは５０文字しかないのに非常に難しい問題として氏名問題に関わる人に語り継がれてきました。 なぜなら、氏名のヨミガナは、普段の生活で普通に使われるのに、戸籍にも住民票にも載っていない法的根拠のない本人による名のりに近いものだからです。 フリガナって言えよ！皆さん、フリガナって一般にいいますよね。これは漢字の上に振ることが多いので「フリガナ」と一般に呼ばれています。名簿で漢字の横に書かれることもありますし、正確にはヨミガナといいます。また、ヨミガナには、「ヨミガナ」、「よみがな」「読みがな」「読み仮名」等のいろんな表現がありますが、「ヨミガナ」が多い気がします。これは外国人氏名も書く場合があるので、自然とそうなっているのでは
Consistency Models
This clickable map (adapted from Bailis, Davidson, Fekete et al and Viotti & Vukolic) shows the relationships between common consistency models for concurrent systems. Arrows show the relationship between consistency models. For instance, strict serializable implies both serializability and linearizability, linearizability implies sequential consistency, and so on. Colors show how available each m
Percolator vs Spanner. Implementing Distributed Transactions the Google Way
Our post 6 Signs You Might be Misunderstanding ACID Transactions in Distributed Databases describes the key challenges involved in building high performance distributed transactions. Multiple open source ACID-compliant distributed databases have started building such transactions by taking inspiration from research papers published by Google. In this post, we dive deeper into Percolator and Spanne
Spanner - Qiita
これまで多くのトランザクションの要素技術を説明してきた。 Googleの公開している論文Spanner: Google's Globally-Distributed Database は公開当初、要求される専門技術の多さからよくわからないと言っている人が多かったが、これまでに説明した要素技術をベースにすると理解しやすい。 Spannerとは 複数のデータセンターに跨ってデータベースの内容を複製し続ける事で高い可用性を実現するという構想は数多くあった。 しかしそれらの分散データベースは実用的な速度を実現しようとすると、データモデルがただのRDBより単純化して使いにくかったりトランザクションをサポートしなかったりと、アプリケーションの一貫性を実現するのが難しい。 現にGoogleの社内でもBigtableなどを用いたアプリケーションは複数あるものの、それぞれでそのデータモデルの上で無理やりトラ
SSTable and Log Structured Storage: LevelDB - igvita.com
By Ilya Grigorik on February 06, 2012 If Protocol Buffers is the lingua franca of individual data record at Google, then the Sorted String Table (SSTable) is one of the most popular outputs for storing, processing, and exchanging datasets. As the name itself implies, an SSTable is a simple abstraction to efficiently store large numbers of key-value pairs while optimizing for high throughput, seque
TechCrunch
In 2019, Amazon upgraded its Alexa assistant with a feature that enabled it to detect when a customer was likely frustrated — and respond with proportionately more sympathy. If a customer asked The halls of power are waking up to the potentials and pitfalls of artificial intelligence. The big question will be how much of an impact they will have on the march of progress if (and when) there a
Inside Capacitor, BigQuery’s next-generation columnar storage format | Google Cloud Blog
Inside Capacitor, BigQuery’s next-generation columnar storage format The “BigQuery under the hood” blog post gave an overview of different BigQuery subsystems. Today, we'll take a deeper dive into one of them — the storage system. We'll follow data as it's loaded into a BigQuery table.BigQuery supports several input formats — CSV, JSON, Datastore backups, AVRO — and when they're imported, data is
Dgraph - A high performance graph database written in pure Go
Go Conference 2018 Spring
システムで「性別」の情報を扱う前に知っておくべきこと - Qiita
0は性別に関する情報が得られない場合に使います。性別に関する情報はあるのだけど1とも2とも言えない場合は9を使います。要は「0でもなくて1でも2でもなければ9」です。 これを知っていればMだとかFだとかを議論をせずに済みますね。 国際規格に従うべき理由 国際規格に従うことは色々と利点があります。まず、どうしてそういうコード体系にしたのかを説明しやすいです。また多言語対応する際も規格通りに書けば伝わるはずなので迷わずに済みます。別システムへのデータの移行や、異なるシステム間でのデータの統合もコード体系が同じならラクラクです。もしかしたら別のプロジェクトで書いたコードをそのまま使いまわせるかもしれません。技術者に対するトレーニングも不要です。 対して、わざわざ国際規格に反する実装をする場合は上記のメリットがそのままひっくり返ってデメリットになりはしますが、もちろん、それなりの理由があれば規格と
GitHub - Tencent/paxosstore: PaxosStore has been deployed in WeChat production for more than two years, providing storage services for the core businesses of WeChat backend. Now PaxosStore is running on thousands of machines, and is able to afford billion
PaxosStore is a distributed-database initially inspired by Google MegaStore. It's the second generation of storage system developed to support current WeChat sevice and applications. PaxosStore has been deployed in WeChat production for more than four years, providing storage services for the core businesses of WeChat backend including user account management, user relationship management (i.e., c
本当は恐ろしい分散システムの話
2. 2Copyright©2017 NTT corp. All Rights Reserved. 諸説あるが、ここでの定義は「部分的な故障を許容するシステム」の事 複数台のコンピュータを接続して信頼性を高めたり データが途中で化けても再送したり訂正したり 一部のコンピュータが突然故障しても引き継いだり 故障を設計の一部に組み込む事が必須となる 分散システムとは 3. 3Copyright©2017 NTT corp. All Rights Reserved. • 世はまさに分散システム戦国時代 • Hadoopを皮切りに次々出てくる巨大分散OSS • シリコンバレーでも分散ミドルウェアベンチャーが多数出現 • 高信頼なシステムを作ろうと思った場合には複数台のマシンによる高可用構成 が前提になる • Google、Facebook、Amazon等はもちろん • 金融、流通などのエンタープラ
Titan: Distributed Graph Database
Titan is a scalable graph database optimized for storing and querying graphs containing hundreds of billions of vertices and edges distributed across a multi-machine cluster. Titan is a transactional database that can support thousands of concurrent users executing complex graph traversals in real time. In addition, Titan provides the following features: Elastic and linear scalability for a growin
会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開
会社が倒産してオープンソースとなったNoSQL「RethinkDB」。最初のオープンソース版「RethinkDB 2.3.6」が公開 RethinkDBは同名の企業ReghinkDB社が開発していたNoSQLデータベースで、JSON形式を処理できる高速な分散データベースとしてモバイルアプリケーションのバックエンドやリアルタイムデータ処理などを得意としていました。 しかし残念ながらビジネス面で成功できず、同社は2016年10月に倒産。2017年2月には、同社のコードやドキュメント、トレードマークなどの知的財産が、Kubernetesの開発などを主導するCloud Native Computing Foundationに買い取られ、Apache Licenseにライセンスし直されてオープンソース化されることが発表されました。 そして7月17日付けで、オープンソース化されてはじめてコミュニティに
Datastoreの仕組み ～Consistencyについて～
はじめに スケーラビリティと可用性が高いと言われているGoogle Cloud Datastore。 しかし、それはなぜかと聞かれても、うまく答えられる方は少ないのではないでしょうか？ 弊社ではGAEとともに、この3,4年ずっとDatastoreを活用したシステム開発に注力し、ノウハウを積み重ねてきました。 今回はそのDatastoreの仕組みについて少しお話しします。 特にACIDのConsistency（一貫性）に注視して説明します。 またこの記事は、Googleのこちらのページとこちらの論文（pdf）を参考にして書かれています。 よかったらこの記事と読み比べてみて下さい。 一貫性って？ トランザクション処理を行う上で、データの一貫性を保つことは絶対必要です。 よくある一貫性の例で、「残高は減っているのに相手に送金できてない！」などはあってはいけないですよね。 このように重要な一貫性で
トランザクションの設計と進化
3. Copyright©2016 NTT corp. All Rights Reserved. トランザクションの基本 トランザクションとは： データに対する一連の操作を一つにまとめた単位の事 トランザクションマネージャとは： 複数のトランザクションがACIDを守って走るよ うに管理する機構 A: Atomicity 結果がAll-or-Nothingとなる事 C: Consistency 一貫性を守る事 I: Isolation 過程が他の処理から見えない事 D: Durability 結果が永続化される事 Consistentな状態空間 Inconsistentな状態空間 Diskが取りうる全ての状態の空間 Atomicな遷移 4. Copyright©2016 NTT corp. All Rights Reserved. 何らかの実行順(スケジュール空間) 直列に実行した場合の結果
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kazunori Sato on Twitter: "NextのSpanner Internalsが面白い。中の人による内部解説、CAPの実際、GCSでの強整合性とBounded Stalenessの使い分け等。 #gcpja https://t.co/OzmncZ52yS… https://t.co/IC0pfnu7Ye"
つらくないマルチテナンシーを求めて: 全て見せます！ SmartHR データベース移行プロジェクトの裏側 / builderscon 2018
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News