進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる

[mkusunok]

やっとPG-Stromが手元で動く環境をつくったんだけど、この機能がちゃんと動くのを確かめるには、オンメモリに載らないデータを展開しなくてはね

[honeybe]

ふぁ！？

[InoHiro]

すごい

[nazoking]

すごい

[mongrelP]

Vegaは標準でこんなかんじか。

[kaputte]

GPU握ったゾウさん強そう

[y___u]

たいへん変態(褒め言葉)っぽくてよい

[kimutansk]

これ、上手く組み合わせられれば、普通のハード単ノードでOLAP用のミニDWH構築可能なんですよね。NVMe-SSDからGPUへのダイレクト転送って面白い。

[satomi_hanten]

GPU-NVMe SSDにDMA転送可能となるとこうなるのか。この間のVegaのメモリ空間拡張概念もこの辺を見据えて・・・ってこともあるんだろうか。

[aquarickn]

GPUの利用用途を分析に使うの、楽しそう

[toyama0919]

興味深いな

[tgk]

2014年の「GPUによるデータベース検索性能の高速化」のアレの現在。恐るべし

[y_uuki]

楽しそうなアーキテクチャ