高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ

先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや

[tagomoris]

書いた

[sora_h]

NVMeというかSSDでは

[kazuhooku]

erase block単位で書込してればtrim不要だしスループットもよくなると思うんだけど、汎用fs+クラウドだと難しいのかなぁ

[satomi_hanten]

へぇ。fstrimの実装がどうなってるか知らんけど今のSSDはコントローラ側（ハード側）の実装に依存するところは大きいだろうし、インスタンスで何使ってるかで変わるような。Optaneオプションあれば解決！（跳ね上がる値段

[napsucks]

flashがSASのI/F速度を遥かに超えた現在trimによる速度低下など過去の話かと思ったが、NVMeで生のflash速度に近くなって再燃した感じだね。RAID6ボリュームから1個ずつ外してtrimするかデイリーで実行するのはどうだろう

[JULY]

これ、SSD じゃなくて NVMe の場合？ AWS EC2 だと、同じ gp2 のボリュームでも、NITRO 世代の前後で違う？

[daishi_n]

クラウド環境だとNVMeは仮想化されたブロックストレージへのアクセスプロトコルだから、物理接続との差異があってもおかしくないんだよね。AWSだとEBSへの物理レイヤはイーサネットじゃないかな

[fcicq]

logrotate leads to large amount of trim. discard mount is slower. fstrim does not have speed limit?

[tmatsuu]

なるほど興味深い。nginxのaccess_logはストリームでgzipとして書き込めるのでそれで延命するのも手か。AWSならこういうときこそst1のEBSボリュームでしょうか。

[nagashi_ma_w]

面白いなあ

[i43s]

前いたプロジェクトではSSD使うときはXFSでdiscardオプション使っていた。RAIDデバイス次第でTRIMが使えないパターンもあった。

[Songmu]

面白かった

[agricola]

フラッシュメモリ以外の、書き換え回数が実用上無限大の不揮発メモリ素子を採用したNVMe SSDが実用化されたらtrimは単に無視されるだろうから、また事情が変わるし、NVMeじゃなくてSATAやSAS でも普通に起きるでしょ。

[tsekine]

外向けのシステムは全然みたことないので的外れかもしれないけど、ずっと高負荷なインスタンスってあんまりクラウドプロバイダー側は想定してないような。暇な時間あるでしょ、そこでTRIM掛けてよって文書になる…

[tofu-kun]

うへー

[joker1007]

なるほど、勉強になった。

[toge]

なるほど、まさかそんなところが刺さるとは。

[t-cyrill]

NVMeに関してはdiscardは無効にしようみたいな話だと思ってたけどそれとは違うのかな archのwikiで見た

[fashi]

他の処理に影響しないようにやってくれればいいのにね

[h3poteto]

なるほどなー

[YarmUI]

探偵だ

[rgfx]

うは

[b-wind]

“あれこれ試してから万全の体制……のつもりで本番投入したところ、見事に刺さった。”

[halfrack]

write intensive なシステムで TRIM の負荷が問題となった事例

[gfx]

“ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ”

[kuenishi]

学びがある

[koyancya]

なるほど......