[論文紹介] TiDB:a Raft-based HTAP database
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
How COMMIT Works in CockroachDB
CockroachDB はどのくらい「しぶとい」のか？ / How tough is CockroachDB?
Cloud Spanner のロックについて
この記事では Cloud Spanner の並行性制御が何であるのか、結果として何を実現しているのかを見てから具体的なロックの実際の挙動について追っていく。 なお分散システムとしての話はあまりないので期待しないように。 この記事では実際の挙動を確認しながら書いているつもりだが、 2021年3月現在の挙動がサイレントに変わることもあることには注意してほしい。 TL;DR Cloud Spanner はロックフリーな Read-Only Transction と、堅実にロックを行う Read-Write Transaction の2つのアクセスパスを持ち、 ROMV と呼ばれる方式に最も近い。 その他技術との組み合わせの結果として分散システムでありながら Serializability と Linearizability を兼ね揃えた理論上最も強い一貫性を実現しており、 Google はそれを
Perceus: Garbage Free Reference Counting with ReuseMicrosoft Technical Report, MSR-TR-2020-42, Nov 29, 2020, v2.
Perceus: Garbage Free Reference Counting with Reuse Microsoft Technical Report, MSR-TR-2020-42, Nov 29, 2020, v2. Alex Reinking∗ Microsoft Research, USA alex_reinking@berkeley.edu Ningning Xie∗ University of Hong Kong nnxie@cs.hku.hk Leonardo de Moura Microsoft Research, USA leonardo@microsoft.com Daan Leijen Microsoft Research, USA daan@microsoft.com Abstract We introduce Perceus, an algorithm fo
[論文紹介] Snowflake - NSDI '20 -
Building An Elastic Query Engine on Disaggregated Storage 突然始まった、論文紹介シリーズである。 データベースに関連する目に付いた論文をざっくりと解説していく。個人的な興味は分散DB、トランザクション、ストレージエンジン等なので、その辺りに偏ることはご容赦頂きたい。 初回は「Building An Elastic Query Engine on Disaggregated Storage」（日本語訳：分散ストレージ上での弾力性の高いクエリエンジンの構築）、Snowflakeのアーキテクチャを解説した論文を読んでいく。 ※早速お詫びとなるが、Zennのタイトルで文字数制限があり、正式な論文名を当記事に冠することが出来ない。誤解を招くタイトルだったら申し訳ない。 と思ったら こちらに論文の翻訳が発表されていた。英語は苦手だが全文読んで理
![[論文紹介] Snowflake - NSDI '20 -](https://cdn-ak-scissors.b.st-hatena.com/image/square/05fa2063c17e02edf7f1a26b4992a2d1fea0db31/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--PmjBGSRv--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520Snowflake%252520-%252520NSDI%252520%25252720%252520-%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Microsoftのデータフロープロセッサ EDGEの論文を読む - FPGA開発日記
Twitterで知った、MicrosoftのFPGA向けのインオーダスカラプロセッサの論文が出ている。ターゲットとしてはデータフロー処理だ。 プロセッサの名前としてはEDGEという。ブラウザのEdgeではなくて、Explicit Data Graph Executionの略称である。 面白そうなので、読んでみることにした。 Now Microsoft ports Windows 10, Linux to homegrown CPU design • The Register Towards an Area-Efficient Implementation of a High ILP EDGE Soft Processor https://arxiv.org/pdf/1803.06617.pdf EDGEの考え方 EDGEの考え方は、複雑なアウトオブオーダのプロセッサを設計するのではなく、な
Spectre & Meltdown を防ぐマイクロアーキテクチャSafeSpecの論文を読む - FPGA開発日記
Hisa Ando氏のブログで知ったのだが、Spectre & Meltdownを防ぐマイクロアーキテクチャとしてSafeSpecという技術が発表されたので、これを読んでみることにした。 ２．SpectreやMeltdownを防ぐSafeSpecマイクロアーキテクチャ 20180616 Boffins offer to make speculative execution great again with Spectre-Meltdown CPU fix www.theregister.co.uk Meltdown/Spectreの対策 SafeSpec keisanki.at.webry.info 論文 「SafeSpec: Banishing the Spectre of a Meltdown with Leakage-Free Speculation」 https://arxiv.o
深層学習のモデル圧縮・高速化に関する論文80本ノック - そうだね
こんにちは.無事に3年生に進級できてホッとしています. 昨年度から深層学習のモデル改変による高速化手法について調べていました.そんなわけで本稿では深層学習モデルのパラメータ容量の削減や高速化を目的とした手法に関する論文を80本紹介します. 一部, ハイパーパラメータ探索(Neural Architecture Search等)の論文を「高速なモデルの探索に使えないかな〜」というきもちで含めました. また, 蒸留に関する論文は必ずしも高速化を狙ったものだけではなく, 蒸留そのものの派生論文についても含めています. 全ての論文について詳解ではなく雑な概要のみ記載しています. サーベイする際のガイドにでも使っていただければ幸いです. サクッと読んだだけの論文も多々ありますので間違い等ございましたらご指摘ください. では参りましょう. 高速なモデルアーキテクチャ より良い速度と精度のトレードオフを
世界で最も引用された論文トップ100件のうち65件は有料化されていて「誰でもアクセスできる状態」ではない
by Shawn Campbell インターネットはもともと大学のコンピューター同士をネットワークで接続して論文を共有するために作られたものですが、この第一目標に反して引用件数トップ100の論文の大半がオープンアクセスではない状態にあることが指摘されています。 65 out of the 100 most cited papers are paywalled. https://www.authorea.com/users/8850/articles/125400-65-out-of-the-100-most-cited-papers-are-paywalled 指摘を行ったのは、研究者向けの執筆ツール「Authorea」の共同創業者であるアルベルト・ぺぺ氏と、主任研究者のジョシュ・ニコルソン氏。 論文によって価格は異なるものの、加重平均の結果は32.33ドル(約3620円)でした。仮に、有
Cicada：Dependably Fast Multi-Core In-Memory Transactions - 急がば回れ、選ぶなら近道
Cicada: Dependably Fast Multi-Core In-Memory Transactions https://www.cs.cmu.edu/~hl/papers/cicada-sigmod2017.pdf SIGMOD2017で発表されている。現状の分散OLTPのアーキテクチャをうまくまとめて、欠点をうまくカバーアップし、言って見れば次世代MVCCの一つの形を提示している。その上で、現在世界最高のパフォーマンスを叩き出している。現時点で世界最速DB（ただし自称）。 現状の分散OLTPは大きな流れは、SILO/Foedus/MOCC/等のOCC系、すなわち2PLをベースにした実装で理論上はmonoversionでのserializableの実現を行っている方式と、Hekaton/HyPer/Bohm/ERMIAといったMVCC系、すなわちMVTOの派生をベースにしてmu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift Re-invented
File System Semantics Requirements of HPC Applications
https://www.ipsj-kyushu.jp/page/ronbun/hinokuni/1007/B1/B1-4.pdf
SQL- and Operator-centric Data Analytics in Relational Main-Memory Databases
The Battle of the Schedulers: FreeBSD ULE vs. Linux CFS
Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources (PDF)
Cluster-Level Storage @ Google
Mison: A Fast JSON Parser for Data Analytics
Azure Data Lake Store: a hyperscale distributed file service for big data analytics | the morning paper
https://doi.org/10.1145/3035918.3056100