moccos_infoのブックマーク - はてなブックマーク

スキャン速度10GB/sへの挑戦～その②～ - KaiGaiの俺メモ
一年半ほど前、次のようなエントリーを書いた。 kaigai.hatena blog.com かいつまんで言うと、多段JOINのように、実際に実行してみないと結果行数が明らかではなく、かつ、ステップ(k+1)の最適な問題サイズがステップkの結果に依存する場合、Kepler以降のGPUでサポートされた Dynamic Parallelism を使えば素直に実装できるという話である。実際、この時期以降のGpu JoinロジックはDynamic Parallelismを用いて実装されていた。だが、プロファイラ等を用いて詳しく調べてみると、どうやら、ある程度以上のパフォーマンスでクエリを処理している状況においては、このような設計はGPUが持つ本来の能力を引き出す上で必ずしも適切ではないという事が明らかになった。例えば、以下のグラフは半年ほど前にStar Schema Benchmark(SSBM)
moccos_info 2017/10/19
GPU
リンク
Pascal以降のUnified Memoryを使いたおす。 - KaiGaiの俺メモ
今でこそTESLA P40に24GBのRAMが載り、コンシューマ向けでもGTX1080Tiに11GBのRAMが搭載されてたりと、GPU側でも10GBを越えるメモリを積むことは珍しくなくなってきた*1。長らく自分の開発環境で頑張ってくれたGTX980は（当時のハイエンド製品だったにも関わらず）4GBのRAMしか積んでおらず、基本的には、希少資源であるデバイスRAMをどのようにアロケーションするかというのは、データベースのワークロードをGPUで処理する上での大問題であった。例えば、OUTER側から20万行を読み出して*2、INNER側の1万行とJOINする処理を考えた場合、最悪ケースでは20万行×1万行で20億行が生成されることになる（CROSS JOIN）。もちろん、PostgreSQLの統計情報からある程度の推計は可能であるし、JOINの結果生成される行数というのはコスト推計値にダイ
moccos_info 2017/08/16
GPU

memory
リンク
NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ
ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務したNECを退職しました。また、本日、東京法務局品川出張所においてヘテロDB株式会社の登記申請を行い、また、併せて新会社のチーフアーキテクト兼代表取締役社長に就任しました。今後は、前職では実現できなかった、GPUやSSDなどヘテロジニアスな計算機資源を活用する事で、高性能、低価格、使いやすさを両立するデータベース製品の事業化を目指していく事になります。どうぞよろしくお願いいたします。 web: http://heterodb.com/ 弊社が入居する西大井創業支援センター（品川区） 10年以上も勤務した会社を辞めてスタートアップを立ち上げるというのは、おそらく人生の中でも上位に食い込むビッグイベントの一つだと思うので、今の決意や創業に至る一連の流れについて記録を残しておこうと思います。（書き下してみたら意外と長
moccos_info 2017/07/06
NECを十分に使い切って辞めている。つよい。
リンク
1