進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
Googleのデータセンターで使うSSDを調査して分かったSSDの信頼性を推測するのに大切な要素とは？
SSDの大容量化・低価格化が進むにつれて、データセンターでもHDDに変わってSSDが導入される例が増えています。Googleのデータセンターで運用されている大量のSSDのデータを分析した研究から、SSDの信頼性を推測する要素や、安価なコンシューマー向けSSDと高価なエンタープライズ向けとの間に違いはあるのか、SSDはHDDに比べて安全なのかなどが明らかになっています。 Flash Reliability in Production: The Expected and the Unexpected.pdf (PDFファイル)http://0b4af6cdc2f0c5998459-c0245c5c937c5dedcca3f1764ecc9b2f.r43.cf2.rackcdn.com/23105-fast16-papers-schroeder.pdf High-end SLC SSDs No
インスタンスタイプによって SSD の性能が変わるのか調べてみた | はったりエンジニアの備忘録
JAWS-UG Meguro #0 のハッシュタグを追いかけていると @yoshidashingo さんがこんなツイートをされていました。 インスタンスディスクのSSD、インスタンスファミリーによって性能差あったんだ... #jawsmeguro — 真吾 (@yoshidashingo) May 22, 2015 インスタンスストアの SSD はどれも一緒だと漠然と思っていたので驚きました。ドキュメントを読んでみると SSD の TRIM 機能をサポートしたことにより書き込み性能が向上しているとのこと。 TRIM については、このページに詳しい説明がありました。 Trim 命令の功罪 | Logitec データ復旧技術センター 気になったことは手を動かして調べてみることを心がけているので、さっそくベンチマークを取ってみました。 ベンチマークの諸条件 OS: Amazon Linux AM
Amazon EC2で高速SSDを8つも搭載した新しいI2インスタンスのベンチマークをとってみた - 元RX-7乗りの適当な日々
AWS re:Inventで発表されていた、SSDによる高性能ランダムI/O用に最適化されたという、Amazon EC2の新しいインスタンスタイプ「I2インスタンス」が先日使えるようになりました。 インスタンスタイプとしては"i2.*"からはじまるやつです。 I2インスタンスタイプは、特にリレーショナルデータベース、NoSQLデータベース、およびトランザクションシステムによって生成されるI/O集約型のワークロードをホストするように設計されています。最も大きいサイズのI2インスタンスタイプは、4KBのブロックサイズでの計測で、秒間365,000を超えるランダムリードと秒間315,000を超えるランダムライトの性能を発揮します。4つのインスタンスサイズをご利用いただけますので、必要なストレージとI/O性能が高くなのに合わせて、小さくスタートし、スケールアップしていくことができます。 このインス
最新のSSD5機種とRAIDカードのパフォーマンス検証 - 元RX-7乗りの適当な日々
少し時間が経ってしまったのですが、今年の夏頃に書いた検証レポートを公開します。 最新の機種と書きつつ、昨年のモデルのSSDが1つ混じっていたりなど、突っ込みどころはあるのですが、何かの参考になれば幸いです。 はじめに 昨今、記憶媒体装置の1つであるSSD(Solid State Drive)は、コンシューマー/エンタープライズを問わず、かなり普及してきている。 価格対容量のコストパフォーマンスや容量そのものに関しては、ハードディスクにかなわないものの、SSDの高いI/O性能(特にランダムアクセス)は非常に魅力的であることと、特に、低容量のもの(120GB以下等)であれば1万円以下で購入できる時代となってきており、コスト面に関しても手を出しやすくなってきている。 ところで、弊社のサービスで利用されているディスクの多くは、SATA/SASのハードディスクを利用しているケースが多い。 中には、F
噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた - 元RX-7乗りの適当な日々
先日、Amazon EC2で使える、2TB分のSSDを積んだ新しいインスタンスタイプ(High I/O Instances / High I/O Quadruple Extra Large Instance)が発表されました。 ディスクI/O性能が高速なインスタンスは初登場なので、I/Oがシビアに要求されるデータベース等の利用においては、期待を寄せちゃいますよねー。 http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-storage.html というわけで、このSSDのディスクI/Oパフォーマンスがどのくらい速いのかを試してみちゃいました。厳密なベンチマークではないですが、参考になれば幸いです。 ・
AWS News Blog
Amazon Titan Text V2 now available in Amazon Bedrock, optimized for improving RAG The Amazon Titan family of models, available exclusively in Amazon Bedrock, is built on top of 25 years of Amazon expertise in artificial intelligence (AI) and machine learning (ML) advancements. Amazon Titan foundation models (FMs) offer a comprehensive suite of pre-trained image, multimodal, and text models accessi
LinuxサーバーにSSDを使うための情報メモ - 気ままにインフラエンジニア
Trim周りが最近どうなっているのか調べていましたが、それ以外の情報もまとまっているもののが案外少なかったので。 Trimをサーバーで使える？ # Trimコマンドのサポートの確認（SSD側） hdparm -I /dev/sda | grep -i TRIM * Data Set Management TRIM supportedTrimコマンドの発行にはSSDをSATAのAHCIモードで接続することが必要。 RAIDカード経由でSSDを接続した場合、SSDを直接扱えないのでTrimは使えない。 2012/05現在、Trimに対応したRAIDカードはないようだ。 （ただし、ext4のdiscardコマンドは内部的にはSCSIデバイスに対してUNMAPコマンドが発行されるので、今後RAIDカード側がATAコマンドのTrimに再度変換してくれれば…？無理かな） 一般的な1Uサーバーではほとん
Fusion-io、10億IOPSの新技術「Auto Commit Memory」発表。ストレージなんてレベルじゃない、パーシステントなメモリだ
現代のコンピュータにおいて、メモリとストレージはプロセッサと並ぶもっとも基本的な構成要素です。高速なアクセスを担当するのがメモリ、データの永続性を保証するのがストレージです。 Fusion-ioは、ストレージ性能に換算すると10億IOPSという超高性能を実現するAuto Commit Memory（ACM）を発表。ACMとは、永続性を備えた新しいタイプのメモリだと説明しています。 ACM is a new memory type that uses the underlying flash to present a persistent memory directly to applications. ACMはフラッシュを基盤に用いた新しいタイプのメモリであり、アプリケーションに対して永続性を備えたメモリを直接提供する。 Fusion-ioは、PCIeスロットに接続する高速なサーバ内蔵型フ
HDDをSSDにしたらデータベースはどれだけ速くなるか？ オラクルと富士通が実験
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
はてなのサーバ運用は教科書的なスケールアウト手法? - kazuhoのメモ置き場
はてなにおける SSD の実績 - mura日記 (halfrack) の感想。木を見て森を語るような話ですが、この iostat を見ていて興味深かったのが、 ボトルネックは SSD この状態だと iostat -x の ioutil は 100% にかなり近い値40%-50% 前後だと思う*1 CPU がスカスカ メモリもそんなに積んでない*2 それでも SSD を複数台つながない、ってことは、ストレージの上限にあわせて CPU とメモリをスケールダウンする方針なんだろう。絵に描いたようなスケールアウトダウンアプローチ。 高可用性はレプリケーションで確保する、と割り切るなら、サーバ毎に RAID を組んでシステムを複雑化させる必要はないし*3、方針がはっきりしてて素晴らしいな、と思った。 酔っぱらってるようなエントリだけどまだ飲んでない 追記： うちのパストラックの新サーバの X25-
はてなにおける SSD の実績 - mura日記 (halfrack)
社内で SSD の寿命について話題に上がったので、ちょろっと X25-M G1 の運用実績に関する日記を書いてみよう。 プロダクション環境にある MySQL が動いているホストから、比較的 I/O が激しいものをチョイスして smartctl を叩いた結果がこんな感じ。 # smartctl -d ata -a /dev/sda smartctl version 5.36 [x86_64-redhat-linux-gnu] Copyright (C) 2002-6 Bruce Allen Home page is http://smartmontools.sourceforge.net/ === START OF INFORMATION SECTION === Device Model: INTEL SSDSA2MH080G1GC Serial Number: xxxxxxxxxxxxxx
SSD（Solid State Drive）
ハードディスクの代わりとして、ノートPCでの採用が増えてきた「SSD」を取り上げる。SSDとは何か、その特徴やメリット／デメリットは？ 連載目次 ハードディスクを代替することを目的として、半導体素子を用いて作成された記憶装置。現在、最も競争と進歩が激しいデバイス領域の1つ。 記憶媒体としては、不揮発性の半導体記憶素子であるフラッシュメモリを用いるものが主流である（DRAMを採用したSSDも存在する）。ハードディスクのようにモータやヘッドなどの可動部品がないことから、衝撃に強く、消費電力が少ない、静穏であるなどの特長がある。そのため主にノートPCでSSDを採用するモデルが増えてきている。 いわゆる「5万円ノートPC」として大きく話題になったASUSTeK Computer製ネットブック「Eee PC 701 4G」がハードディスクの代わりとしてSSDを搭載したことや、フラッシュメモリの低価格
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://labs.cybozu.co.jp/blog/kazuho/archives/2009/02/ssd.php
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/10/web_service_on_ssd.php