Coding for SSDs – Part 1: Introduction and Table of Contents | Code Capsule
Hi, I’m Emmanuel! I’m the author of this blog. I am a Senior Director of Software Engineering at adidas.com, and I’m based in Amsterdam, Netherlands. Translations: This article was translated to Simplified Chinese by Xiong Duo and to Korean by Matt Lee (이 성욱). Introduction I want to make solid-state drives (SSDs) the optimal storage solution for my key-value store project. For that reason, I had t
SSD とストレージの将来 - kazuhoのメモ置き場
SQL に痛痒感を感じる日々を過ごしている身としては、RDBMS がレガシーだというのは、まったく同感ですが。 SSDを前提にしたプログラムモデルになれば、そもそもシーク時間と戦うこともなく、ストレージを意識せずにプログラムが組めます。そうなったとき、アプリケーションのデータを永続化するためにRDBMSをわざわざ使うことはないでしょう。 2008-12-12 そんなことないと思います。理由は以下の２点。 フラッシュの書き換えブロックサイズは数キロバイト以上 トランザクションは意識して実装せざるを得ない フラッシュメモリはランダムリードできますが、DRAM のようにランダムライトできるわけではありません。書き込みが非常に遅いのに加えて書き換え回数の制限もあるので、メインメモリと同様のプログラム手法を使うのは難しいと思います。 次にトランザクションについてですが、組み込み型データベースとして
SSD Deployment Strategies for MySQL
1. SSD Deployment Strategies for MySQL Yoshinori Matsunobu Lead of MySQL Professional Services APAC Sun Microsystems Yoshinori.Matsunobu@sun.com Copyright 2010 Sun Microsystems inc The World’s Most Popular Open Source Database 1 2. What do you need to consider? (H/W layer) • SSD or HDD? • Interface – SATA/SAS or PCI-Express? • RAID – H/W RAID, S/W RAID or JBOD? • Network – Is 1GbE enough? • Memory
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]
2. HeteroDB社について ▌会社プロフィール 商号： ヘテロＤＢ株式会社 所在地： 東京都品川区西大井１ー１ー２ 設立： 2017年7月4日(火) 事業内容： GPU/SSDによる高速SQLデータベース製品の開発・販売 GPU等の活用を含むSQLチューニングサービス 主要株主： 設立メンバーによる100%保有 ▌設立メンバー 海外 浩平（チーフアーキテクト 兼 代表取締役社長） OSS開発者コミュニティにおいて、Linux kernelやPostgreSQLデータベースの開発に10年以上従事。 PostgreSQLのSELinux対応やFDW機能拡張などコア機能強化に貢献しており、PostgreSQLのMajor Contributor として知られている。 2012年、 GPUによるPostgreSQLの高速化機構であるPG-Stromの開発に着手。以降、ヘテ
![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
PCIeスロット接続型NVMe-SSDまとめ（2017年4月時点） - KaiGaiの俺メモ
PCIeスロット接続型のNVMe-SSDのスペック等、各社どうだったけな～と探すものの、案外まとまった情報がないので自分でまとめてみた。ブックマーク代わりです。 基本的に各社のWebに掲載されているカタログスペックを転記。手作業なので内容の正確さに関しては保証しかねます。（指摘頂ければ直します） Intel社 コンシューマ向け モデル Intel SSD 750 400GB(MLC) Intel SSD 750 800GB(MLC) Intel SSD 750 1.2TB(MLC) 形状 HHHL HHHL HHHL PCIe PCIe 3.0 x4 PCIe 3.0 x4 PCIe 3.0 x4 容量 400GB 800GB 1.2TB SeqRead 2100MB/s 2100MB/s 2400MB/s SeqWrite 800MB/s 800MB/s 1200MB/s RandRea
SSDを対象としたKey-Value Storeのデータ構造に関する研究
修士論文 SSD を対象とした Key-Value Store のデータ構造に関する研究 指 導教官 浅 野正一 郎 教授 2012 年 2 月 8 日 提出 東 京大学 大学院 情報理 工学系 研究科 電子情 報学専 攻 修士 課程 学 生証番 号 48-106436 山 田 淳二 2 目 次 第 1 章 序 章 ................................................................................6 1.1. はじめに ..............................................................................7 1.2. 本 論 文 の構 成 ....................................................
動いた！SSD-to-GPU Direct DMA - KaiGaiの俺メモ
ここしばらく、NVMe-SSDからGPUへとPeer-to-Peer DMAを行うためのLinux kernelドライバを書いている。 これは昨年末のPGconf.JPのLTでアイデアを先に発表したもので、従来は、例えばテーブルスキャンに際して90%の行がフィルタリングされる場合であっても、データをストレージからRAMにロードしていた。しかし、どうせフィルタリングするのであれば、バッファのために利用したRAMのうち90%は無駄である。 基本的なアイデアは、ストレージからのデータロードに際して、CPU側のRAMではなく、GPU側のRAMへロードし、そこで数百～数千コアの計算能力を使って行のフィルタリングや、あるいは、テーブル同士のJOINや集約演算を行ってしまう。そして、これらの前処理が終わった段階でCPU側へデータを書き戻してやれば、CPUから見ると『ストレージからデータを読出したら、既に
Flash Reliability in Production: The Expected and the Unexpected | USENIX
As solid state drives based on flash technology are becoming a staple for persistent data storage in data centers, it is important to understand their reliability characteristics. While there is a large body of work based on experiments with individual flash chips in a controlled lab environment under synthetic workloads, there is a dearth of information on their behavior in the field. This paper
エルザ・ジャパン様の対応が神レベルだった件 - KaiGaiの俺メモ
雑文です。 現在取り組んでいる SSD-to-GPU ダイレクト機能の実装には、PostgreSQL/PG-Strom側の機能拡張だけれなく、NVMe SSDからGPU RAMへのDMAを実行する Linux kernel ドライバの開発が必要になる。 Linux kernelにはDMAを実行するためのインフラが既に多数揃っているので、ドライバの開発自体はそれほど大仕事ではないのだが、GPUがその機能に対応している必要がある。 NVIDIA提供のドキュメントによると、 GPUDirect RDMA :: CUDA Toolkit Documentation GPUDirect RDMA is available on both Tesla and Quadro GPUs. と、あり、いわゆるコンシューマ向け廉価製品であるGTXでは対応していない。 対応していないというのは、GPU上のRAM
2015年はデータセンターにおけるSSD利用の終わりの始まりだった、研究でわかったSSDの抱える問題点とは？
By Yutaka Tsutano ニュースメディアのZDNetが「What we learned about SSDs in 2015」と題して、2015年に起きたSSDに関する知っておくべきことをまとめています。 What we learned about SSDs in 2015 | ZDNet http://www.zdnet.com/article/what-we-learned-about-ssds-in-2015/ ◆パフォーマンス Facebookとカーネギーメロン大学の研究者がSSDの信頼性とパフォーマンスの両面を調査し、SSDが高温になるとパフォーマンスが低下することが明らかになりました。また、ログの構造化が利用されたSSDはデータベースやアプリにとって最適な選択からは一歩劣る、とする研究結果がサンディスクから発表されました。現在ではほとんどのSSDがこれに当てはまる模
HPE、不揮発性メモリ搭載「ProLiant Gen9」サーバを発表--インテルの新チップも搭載
Danny Palmer （Special to ZDNET.com） 翻訳校正： 編集部 2016-04-01 10:50 Hewlett Packard Enterprise（HPE）は米国時間3月31日、停電時にもデータを保持できる「不揮発性メモリ」を搭載した新たなプラットフォームを発表した。通常のメモリと同じ速度で動作しつつ、機器への電力供給が絶たれてもデータを保持し続けられる記憶装置を搭載したサーバを実現する。 HPEの欧州・中東・アフリカ（EMEA）地域のProLiantサーバ担当マネージャーRichard Slyfield氏によると、パフォーマンスや復元性という観点から見た場合、このテクノロジには、PCIe接続のSSDといった既に利用可能な類似の永続的なメモリと比べると「極めて大きな利点」があるという。 HPEの不揮発性メモリ「HPE 8GB NVDIMM」（Non-Vola
北森瓦版 - 【Seagate】10GB/sを実現するPCI-Express SSDを明らかに
Seagate Announces PCIe x16 SSD Capable Of 10GB/s（AnandTech） Seagate Demonstrates Fastest-Ever SSD Flash Drive（techPowerUp!） Seagate to offer NVMe PCIe SSD that does 10GB/Sec（Guru3D） Seagate、業界最速となる10GB/sec転送のPCI Express SSD（Impress PC Watch） Seagate Demonstrates Fastest-Ever SSD Flash Drive（Seagate） Seagate technologyは3月8日、世界最速のSSDとして製品化が準備されているユニットのデモを行った。このSSDのスループットは最高10GB/sとなる。Open Compute Pro
SSD-to-GPU Peer-to-Peer DMAとバッファ管理（その１） - KaiGaiの俺メモ
昨年の暮れ、JPUGカンファレンスのLTで『SQL+GPU+SSD=∞』と題したスピーチを行った。 SQL+GPU+SSD=∞ (Japanese) from Kohei KaiGai www.slideshare.net これはかいつまんで言えば、ストレージからデータをCPU+RAMへとロードするより前に一旦GPUへとデータを転送し、そこで不要なデータを削ぎ落してからCPU+RAMへと渡してやる事で、CPU負荷の軽減とRAMの有効活用が計れるというアイデアである。 実装としては、PCI-Eデバイス間でのP2P DMA機能を利用する事によってNVMe SSDの特定ブロックからGPU RAM上の特定の領域へDMAを実行するというものなので、ここは別に新しくも何ともない。 以下の図は、従来の仕組みにおけるデータの流れを示したもの。 SSDから読み出されたデータは先ずCPU+RAMにバッファされ
MySQLやSSDとかの話 後編
2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 ● わりとMySQLのひと ● 3.23.58 から使ってる ● むかしは Resource Monitoring も力入れてやってた ● ganglia & rrdcached の（たぶん）ヘビーユーザ ● 5年くらい前から使い始めた ● gmond は素のまま使ってる ● gmetad は欲しい機能がなかったので patch 書いた ● webfrontend はほぼ書き直した ● あとはひたすら python module 書いた ● ganglia じゃなくても良かったんだけど、とにかく rrdcached を使いたかった ● というわけで、自分は Monitoring を大事にする ● 一時期は Flare という OSS の bugfix などもやってた 3. Copyrig
NVMe SSDのベンチマークをとってみた (約70万IOPS/1台) - 元RX-7乗りの適当な日々
手元にNVMe SSDがあったので、自分でベンチマークを取ってみたログ。 NVMeってのは、ストレージデバイスを接続する際の規格で、従来でいうSATAインターフェースの仲間みたいなもの。NVMeの詳細は以下のリンク先に記載があるので読んでいただきたい。 NVMeは、SCSIやSATA（Serial ATA）と同じく、ストレージを接続するための規格だ。パイプラインやランダムアクセスなど、メモリーベースのストレージであるSSDの特徴を活用できる。また、SATAやAHCIの登場から現在までの間に進化した、データのレイテンシー（遅延時間）短縮のための手法も反映している。 具体的な改良点としては、4KBの転送に必要なメッセージが2つではなく1つで済む点や、コマンドを処理するキューが1つではなく複数になっているという点がある。「複数」というのは、実に6万5536個である。これにより、多数のディスクI/
block: Make CFQ default to IOPS mode on SSDs - kernel/git/torvalds/linux.git - Linux kernel source tree
CFQ idling causes reduced IOPS throughput on non-rotational disks. Since disk head seeking is not applicable to SSDs, it doesn't really help performance by anticipating future near-by IO requests. By turning off idling (and switching to IOPS mode), we allow other processes to dispatch IO requests down to the driver and so increase IO throughput. Following FIO benchmark results were taken on a clou
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Truth About MapReduce Performance on SSDs | USENIX
MySQLやSSDとかの話 前編
