Dive into Apache Arrow（その３）- SSD-to-GPU Direct SQL対応 - KaiGaiの俺メモ
ここ最近取り組んでいた Arrow_Fdw 機能がようやく動くようになったので、性能ベンチマークを行ってみた。 今回のエントリでは順を追って説明する事にしてみたい。 Arrow_Fdwとは PostgreSQLにはFDW (Foreign Data Wrapper) という機能があり、PostgreSQL管理下にあるデータ（テーブルなど）だけでなく、外部のデータソースをあたかもテーブルであるかのように読み出す事ができる。一部のモジュールでは書込みにも対応している。 例えば、CSVファイルは構造化データを表現するための方法の一つである。もちろん、PostgreSQLの内部形式とデータ形式が違うので、そのままではコレをSQLの世界から取り扱う事ができないが、間にfile_fdwというモジュールが介在する事で、CSV⇒PostgreSQLの内部形式へとデータ形式を変換している。 この枠組みは多種
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
エンタープライズSSDインターフェイスの比較
はじめに PCI Express（PCIe）は、クライアントとエンタープライズ両者のコンピュー ティング・アプリケーションで使用される多目的バス・インターフェイスです。 既存の大容量記憶装置インターフェイス（SATA、SAS）の場合、PCIeインター フェイスに接続するホスト・アダプタによって、ホスト・コンピュータに接続し ます。 SATAインターフェイスはハードディスク・ドライブ (HDD) インターフェイスと して設計されたのに対し、SASインターフェイスはデバイス・インターフェイス とストレージ・サブシステム・インターフェイス/インフラストラクチャとして設 計されました。より高速なインターフェイスと新機能を必要としながらHDDやシ ステムの要件が進化する中、SATAインターフェイスとSASインターフェイスに は幾たびも改良が施されています。 ソリッド・ステート・ドライブ (SSD)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://media.licdn.com/dms/document/media/D561FAQH0WEtKt_7nzQ/feedshare-document-pdf-analyzed/0/1687038227679?e=1687996800&v=beta&t=69UXK5x7zGTNCjRFk3tqnKRTUa0yz96rK1T_T8oHw6s
