SSDにデータを書込みまくり再起不能に追い込む耐久試験で分かった信頼性に関する真実とは？
2013年からTech Reportが継続していた「SSD耐久試験」は、SSD主要6モデルに特別なプログラムを使って尋常ではない量のデータを書き込みまくって再起不能まで追い込むというもので、耐久性に不安を持たれがちなSSDの信頼性を判断するのに大いに役立つデータとして注目を集めています。そして、最後まで生き残ったモデルもついに息の根を止められ、1年半にわたって続けられたSSD耐久試験が完全に終了。そこからSSDの信頼性に関するおそるべき事実が明らかになっています。 The SSD Endurance Experiment: They're all dead - The Tech Report - Page 1 http://techreport.com/review/27909/the-ssd-endurance-experiment-theyre-all-dead ◆これまでのテスト経過
Google Compute Engineが最大68万IOPSの超高速なローカルSSDをベータ公開
Googleは同社が提供するIaaS型クラウドサービスのGoogle Compute Engineで、非常に高速なローカルSSDストレージのベータ提供を発表しました。 ローカルSSDは375GB SSDのパーティションを1から4つまで仮想マシンにアタッチして利用可能。最大の特徴はその速度で、4つのパーティションでランダムリードが最大68万IOPS、ランダムライトが最大36万IOPS。高速な処理が要求されるデータベースや大規模なデータ処理などに最適なストレージという位置づけです。 ちなみに、つい先日マイクロソフトが発表したMicrosoft Azureのプレミアムストレージは5万以上のIOPS、Amazon EBSのプロビジョンドIOPSボリュームは最大4000IOPSと説明されています。 （追記：AmazonクラウドではAmazon EC2 のI2インスタンスタイプのインスタンスストレージ
新しいSSDベースのEBSボリューム(General Purpose)のベンチマークをとった - 元RX-7乗りの適当な日々
昨日の Amazon Web Services からの公式発表により、Amazon EBSのボリュームとして、「General Purpose (SSD)」が選択できるようになりました。詳細は、以下のAWS公式ブログにてご確認ください。 Amazon Web Services ブログ: 【AWS発表】新しいSSDベースのElastic Block Storage で、で、既に今回追加された新しいEBSのボリュームタイプに関しては、以下のエントリでまとめられています。 http://rimtty.hatenablog.com/entry/2014/06/17/184348 へー、なるほどねぇ、、、とか思いながら読んでいたのですが、最後のところで、 新型EBSのベンチマークについては、いつもの id:rx7 さんが颯爽ベンチってくれると思うので待ちます。 http://rimtty.haten
AWS re:Invent2013参加レポート #12 EC2 C3新インスタンスファミリーを検証してみた | DevelopersIO
ども、大瀧です。 本日のKeynoteで発表されたEC2の新インスタンスファミリー、C3をいろいろいじってみました。 C3インスタンスファミリー概要 以下のインスタンスタイプの紹介ページの通り、C3ファミリーはIvy Bridge世代のCPUをはじめとする、イマドキのハードウェアが搭載された物理ホストで実行されるEC2インスタンスです。 C3 instances are the latest generation of compute-optimized instances, providing customers with the highest performing processors and the lowest price/compute performance available in EC2 currently. Amazon EC2 Instances それぞれの特徴的なハ
Last.fmがサーバにSSDを導入、分散ファイルシステムもSSD対応にしてスケール向上に成功！
音楽配信サイトのLast.fmは、今年の10月からXbox Liveでも利用できるようになったことを受けてユーザー数が大幅に増加。これに対応するためサーバにSSDを採用したところ、問題なくスケールの向上に成功してしまったことをブログ「Launching Xbox, Part 2 - SSD Streaming」で明らかにしています。 SSDで同時接続数が300から7000に増加 Last.fmはこれまで7200rpmのSATAドライブをバックエンドに利用。ファイルシステムとしてオープンソースの分散ファイルシステムであるMogileFSを採用していました。 オーディオストリーミングの能力は基本的にこのMogileFSの管理下にあるハードディスクのランダムI/O性能に依存しており、現在は1つのハードディスクあたり約300同時接続をサポートしていたとのこと。 しかしXbox LiveがLast.
Linux カーネルのすべて: bcache
原文へのリンクはこちらです。 先月末にリリースされた Linux カーネル 3.10 は、多くの Linux 開発者やシステム管理者にとって新機能満載の記念すべきものとなりました。このリリースは、カーネルの開発者 Kent Overstreet にとって特に満足がいくものでした。3.10 に bcache のパッチセットが加えられたことにより、彼の長年の苦労が報われたからです。 bcache により、Linux マシンはフラッシュメモリを使った SSD (ソリッド ステート ドライブ) を低速・低価格のハードディスク ドライブのキャッシュとして使用することができるようになります。サーバー、ワークステーション、ハイエンド ストレージ アレイ、「その他、どのような用途であれ、入出力 (I/O) を高速化したいと思うところ」で使用することができると Overstreet は言います。 「全体を
新たなSSDキャッシュ「bcache」を実験的に導入、Linuxカーネル3.10が登場 | OSDN Magazine
Linus Torvaldsは6月30日、「Linuxカーネル3.10」を発表した。SSD向けのキャッシュ機構「bcache」が新たにサポートされたほか、マルチタスクやBtrfsの強化など多くの機能強化・改善が行われている。 Linuxカーネル3.10は、4月30日に登場したカーネル3.9から約2か月ぶりの新規リリースとなる。大きな特徴として、SSDなどのストレージデバイスをハードディスクのキャッシュとして利用することで読み込みを高速化するフレームワーク「bcache」の導入がある。SSDキャッシュはカーネル3.9の「dm-cache」で初めて導入された機能で、bcacheは小容量のブロックデバイスを利用するブロックレイヤーキャッシュ技術。L2ArcやZFSに似たものだが、ライトバックキャッシュも可能でファイルシステムにも依存しないという。 また、タイマーを使わずにマルチタスクを実現する「
ZFSの重複ファイル節約機能dedupがすげえ（ただしメモリ大尽に限る） - 春木屋
最初にお断りするが、十分なメモリ、あるいはSSDをお持ちでない方は帰っていただいて結構です。 Dedupとは ZFSにはdedupという機能がある。 その機能を有効にすると、例えばここに1GBのファイルが一つあるとして、それをコピーしても、場所が同じpool内である限り、1GBのディスクしか消費しない。 何それただのハードリンクと思うのは早い。 仮に同一のファイルA, Bがあるとする。いずれも1GB。 ハードリンクすればディスク消費量は1GBだ。 さてここで、ファイルBの一部、1bitだけを変えたいとする。 もはやハードリンクはできず、別個のファイルとして扱うことになる。 したがってディスク消費は2GB。 ではdedupだとどうなるか。 1bit違う1GBのファイル二つがあっても、なんと1GBと128KBだけしかディスクを消費しないという驚きの仕組み。 どういうことかというと、dedupは
AWS SSD (hi1.4xlarge) vs Fusion-IOでのMySQLベンチマーク - @ijin
（※ 追記しました - 5/19/13） 巷ではMySQL 5.6 GAが出て騒がしいですが、ちょっと前に5.5系でAWSのSSDインスタンス（hi1.4xlarge）に載せ替える案件があったので、その時に取ったベンチマークを公表します。以前Fusion-IO (ioDrive Duo)でも同じようにやったので、比較になれば。 経緯 あるウェブサービスのDBサイズが巨大でm2.4xlargeでも辛くなってきている アクセスパターンによりパーティショニングが効かない シャーディングをするにはアプリ改修が大変 数週間後に急激なアクセスが予想され、時間的余裕がない！ データサイズの急激な増加によりbuffer poolから溢れ、ディスクアクセスのさらなる発生が懸念 というわけで、時間がないのでSSDへの移行を検討し、ベンチマークを取りました。 buffer poolが徐々に足りなくなった場合のデ
Linuxカーネル3.9リリース、SSDをキャッシュとして利用する「dm-cache」やAndcroidエミュレータ機能などを新たに搭載 | OSDN Magazine
Linus Torvalds氏は4月29日、Linuxカーネル3.9のリリースを発表した。SSDをハードディスクのキャッシュとして利用できる「dm-cache」や、新しい省電力モードの追加、Android環境のエミュレーション環境などが加わっている。 2月後半にリリースされたLinuxカーネル3.8から10週間での最新版リリースとなり、BrtfsでのRAID 5/6サポートやSSDキャッシュデバイスサポート、Androidエミュレータ機能、いくつかの新アーキテクチャサポートの追加、省電力機能の強化などが特徴となる。 Brtfsでは従来RAID 0/1のサポートのみが行われていたが、今回新たにRAID 5および6の実験的サポートが加わった。ただしクラッシュセーフではないため、テスト目的での実装というステータスとのこと。また、スナップショット情報を意識したデフラグ（Snapshot-aware
MySQLでデータ領域をシステムと別diskにするならtmpdirも設定した方がいい - 酒日記 はてな支店
某所に300ホスト以上を2年ほど監視していたZabbixのMySQLがありまして、データが100GBぐらいになってメモリ8GBのホストではdisk IOが辛くなってきたので、移行することにしました。普段はそんなにでもないのですが、housekeeperが動作して古いデータを消しに行くとバッファプールに乗っていない部分に読みに行って重いのです。 この際折角なので Intel S3700 (サーバ用のSSD) をおごり、 Zabbix-1.8 から 2.0 にアップグレード MySQL-5.0.77 から MySQL-5.6.11 に変更 システムは HDD で /dev/sda1 データは SSD で /dev/sdb1 を /data にマウント という構成で移行の検証を行っていたところ… MySQLのバージョンが大きく上がるので mysqldump を取得して restore 後、pat
Amazon EBS の性能ベンチマーク その1 (Standard編) - 元RX-7乗りの適当な日々
以前、「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた」でAmazon EC2で利用できるSSDボリュームのベンチマークを取った際に、EBSボリュームに関しても簡単に計測しているのですが、もう少し詳細に見てみようと思い、もうちょっと詳しく性能を計測してみました。(急いでいる方は最後のまとめを読むだけでOKですｗ) 実は、大昔(3〜4年くらい前)にも同じようなことを軽くやったのですが、結果がどこかにいってしまった＆今はまた結果が違うかもなので、やってみた。 ベンチマークの目的は、EBSボリュームをソフトウェアRAIDで束ねた(ストライピング)場合に、どのくらいパフォーマンスが出せるのかという観点。 というわけで、色々な観点から性能を測ってみました。使ったツールは「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた -
SSDはHDDと比べて音質が良くない？
Pro Tools関連の情報を取り上げるブログ・メディア、AIR Users Blogに、「Do SSD Drives Sound As Good As Hard Drives?（SSDは、（オーディオ・データを扱うドライブとして）HDDレベルの音質を提供してくれるのでしょうか？）」という記事が掲載され、マニアの間で話題になっています。 議論の発端は、AIAA（＝American Institute of Aeronautics and Astronautics／米国航空宇宙学会のことなのでしょうか？）という団体が発表した「SSDはオーディオ・データ再生用ドライブとしてベストな選択肢ではないかもしれない」というレポート。AIAAが実施したテストでは、SSD固有のデータ転送速度（データ転送時のクセ？）が要因と思われる“EDPE（Early Delivery Phase Effects）”と呼
はてなにおける SSD の実績 - mura日記 (halfrack)
社内で SSD の寿命について話題に上がったので、ちょろっと X25-M G1 の運用実績に関する日記を書いてみよう。 プロダクション環境にある MySQL が動いているホストから、比較的 I/O が激しいものをチョイスして smartctl を叩いた結果がこんな感じ。 # smartctl -d ata -a /dev/sda smartctl version 5.36 [x86_64-redhat-linux-gnu] Copyright (C) 2002-6 Bruce Allen Home page is http://smartmontools.sourceforge.net/ === START OF INFORMATION SECTION === Device Model: INTEL SSDSA2MH080G1GC Serial Number: xxxxxxxxxxxxxx
爆速SSD Fusion-io ioDrive Duo現る。ただしインターフェイスはPCI Expiress
PC Watchの記事で Fusion-io、読み取り1.5GB/secの世界最速SSD 〜 PCI Express接続で最大容量1.2TB というニュースを見かけたのだが、この製品がなんとも凄い。 シーケンシャルリードは1.5GB/sec、シーケンシャルライトは1.4GB/secというからまさに爆速！！最近人気のインテル製SSDでもシーケンシャルリードが250MB/sec、シーケンシャルライトは170M/secぐらいだからまさに桁が違う。ただしこの製品、インターフェイスはPCI Expressであり、残念ながらノートPCでは利用出来ない。MacBook Proでウハウハ快適生活！！は出来ないわけである・・・残念。 製造元のFusion-ioはサーバー向けだと謳っているのて爆速SSDでウハウハ快適データベース生活！！なら可能だ。サーバー用途で使う場合、PCI Express接続だと共有スト
Fusion-ioのioDriveは単なるSSDと何が違うのか - syuu1228's blog
Fusion-ioという会社がPCIeなSSDっぽいボードを出してて、SSDじゃないよ！って主張してるけど、何がふつーのSSDとちゃうのんって話。 正直、情報が少ないし現物を動かした事も無いから未だ良く分かってない。 知ってる人や資料を持ってる人が居たら教えて欲しい。 ちなみにこんなのですね： Fusion-io, proud member of the SanDisk family. NAND Flashをディスクのように見せかける為にはセクタへの読み書きをページ単位に変換したり、書き換え上限回数を越えにくいように書き込み先を散らしたり、駄目になった領域／予備領域を管理したりする必要があって、SSDではその辺をコントローラチップがやってる。 或いは組み込みデバイスに載ってる直付けのNANDではJFFSのようなファイルシステムがその辺を吸収してる。 Fusion-ioのアプローチでは、PC
昔の SSD はタフだった - mura日記 (halfrack)
d:id:halfrack:20130417:1366193468 を見た同僚が教えてくれた X25-M G2 のホストについて、古い SSD はマージンたっぷりだったという話。 このホストは DB サーバだが、メッセージングサービス的なものに使われているので、更新ヘビーで辛い DB になる。 [root@nantokagoe smartmontools-6.1]# uptime 19:29:02 up 1028 days, 2:49, 2 users, load average: 0.00, 0.05, 0.04 [root@nantokagoe smartmontools-6.1]# iostat -k -x -d sda | sed -n '3,4p' Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await
高速SSDの落とし穴。データベースで利用するときはご注意を！
今年はSSDの台頭がめざましい。価格の低下、大容量化、そして高速化、さらには低電力化まで期待できるというからもうHDDの出番はなくなるんじゃないだろうかというぐらいの勢いである。しかしそんなSSDもデータベースで利用する時には気をつけてもらいたい。 MySQL Performance Blogでインテル製SSDを使って検証した結果がレポートされている。 インテル製SSDはめっぽう早い。彼らのテストでは一秒間に5250回もの書き込みが出来たそうだ。しかしそれはライトバックキャッシュが有効になっているときの話であって、ライトバックキャッシュを無効にすると書き込みは秒間1200回まで低下したらしい。（それでも高速だが。） で、このインテル製SSDのライトバックキャッシュはくせ者で、バッテリー等で保護されていない。つまり、ライトバックキャッシュにダーティな（まだディスクへの書き出しが完了していない
DBの世界に起こる変革 | エンタープライズエンジニアの独り言
エンタープライズシステムのエンジニアをやって１０年以上。思うところを書いていきます。その他趣味を少々。。。 DBの世界に起きた大きな波 現在、どの製品を使ったとしてもRDBの性能問題は必ずといっていいほど発生する。理由は簡単で、CPU、ネットワークが高速化（CPUはマルチコア化、ネットワークは10G-Ethernetの一般化やInfiniBandなど）するのにディスク（ストレージ）が高速化に追いついていないからだ。その差を埋める役割として、RDBが担っているケースが多く、性能問題になるケースが散見される。 だが、そういう時代の流れに対して大きな変革が起きようとしている。SSDはかなりコモディティ化してきたので言うに及ばずといった感じだが、個人的には速いもののディスクの置き換えにすぎないと思っている。つまり、SSDは速いがDBのアーキテクチャに大きな変革をもたらすものではない。が、ここにきて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これがCassandra
