GPUDirect Storage: A Direct Path Between Storage and GPU Memory As AI and HPC datasets continue to increase in size, the time spent loading data for a given application begins to place a strain on the total application’s performance. When considering end-to-end application performance, fast GPUs are increasingly starved by slow I/O. I/O, the process of loading data from storage to GPUs for process
ここ最近取り組んでいた Arrow_Fdw 機能がようやく動くようになったので、性能ベンチマークを行ってみた。 今回のエントリでは順を追って説明する事にしてみたい。 Arrow_Fdwとは PostgreSQLにはFDW (Foreign Data Wrapper) という機能があり、PostgreSQL管理下にあるデータ(テーブルなど)だけでなく、外部のデータソースをあたかもテーブルであるかのように読み出す事ができる。一部のモジュールでは書込みにも対応している。 例えば、CSVファイルは構造化データを表現するための方法の一つである。もちろん、PostgreSQLの内部形式とデータ形式が違うので、そのままではコレをSQLの世界から取り扱う事ができないが、間にfile_fdwというモジュールが介在する事で、CSV⇒PostgreSQLの内部形式へとデータ形式を変換している。 この枠組みは多種
Mellanox、NVMe-oFでストレージを仮想化する「SNAP」を発表:内蔵ストレージとして見せる Mellanoxは2019年3月12日(米国時間)、NVMe over Fabrics(NVMe-oF)を用いてストレージを仮想化する技術、「NVMe SNAP Technology」を発表した。同社はこれを、プログラマブルなネットワークアダプターである「Bluefield SmartNIC」に組み込んで提供する。 Mellanoxは2019年3月12日(米国時間)、NVMe over Fabrics(NVMe-oF)を用いてストレージを仮想化する技術、「NVMe SNAP Technology」を発表した。同社はこれを、プログラマブルなネットワークアダプターである「Bluefield SmartNIC」に組み込んで提供する。 NVMe SSDは広く普及しつつあるが、コンピュータ(あるい
NVMe-Over-Farbrics のリファレンス デザインは、特定のユーザーのみに公開しています。詳細は、ザイリンクスの FAE または販売代理店にお問い合わせください。 NVMe-Over-Fabrics (NVMeOF) のリファレンス デザインは、Alveo U50 データセンター アクセラレータ カードおよび BittWare 250-SoC アクセラレータ カードに実装されています。1 つのプラットフォーム上で最大 24 個の NVMe SSD をサポートし、独自のアクセラレーション機能を定義する柔軟性を提供します。このデザインは、NVMeOF プロトコルと ROCEv2 RDMA プロトコルの両方のオフロードに対応しているため、外部 CPU や外部 NIC が不要になります。この高度に統合されたプラットフォームは、高速化を実現できると同時に、ストレージ アレイ コントローラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く