Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ

Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ ずっと安定して稼働していたシステムが、ある日突然エラーでクラッシュ。調べても原因が分からないので、「何らかのノイズや放射線などの影響でメモリエラーが起きたのでは？」という推測を顧客に報告した、なんて経験を持つベテランのITエンジニアは少なくないのではないでしょうか。 実際のところ、2009年のGoogleの調査では同社の本番システムにおいて、1年間で8％以上のDIMMモジュールにメモリエラーが発生していたと報告されています。想像以上にメモリエラーというのは起きているのですね。 ただし、現代のメモリとCPUなどではエラー訂正機能を備えているため、多くのメモリエラーは訂正され、システムの動作に影響を与えないようになっています。 しかし訂正しき

[masa_iwasaki]

そんなに居るのかな / "「何らかのノイズや放射線などの影響でメモリエラーが起きたのでは？」という推測を顧客に報告した、なんて経験を持つベテランのITエンジニアは少なくないのでは"

[nezuku]

ハイパーバイザにてメモリエラーのある場所を避けて再配置するのか / メモリエラーが割と起きるのは搭載RAM容量の増加も背景にあり、LinusさんがIntelは普及モデル帯のCPUにECC搭載しないことを愚痴っていたのは以前に

[ysync]

ECC無いlinuxの24/365稼働とか年1くらいはパニックするんだよね。数年元気に動いてた鯖でも

[circled]

つい最近もLinusが、Intelがサーバマシン用CPU(基本Xeon)にしかECCメモリ対応させないせいでブチ切れておりましたな。→ https://gigazine.net/news/20210105-linus-bad-policy-intel-ecc-memory/

[zakinco]

リーナスもECC使えって言ってたしな

[medihen]

"メモリシステムが訂正不可能なメモリエラーが発生してたとしても、仮想マシンやアプリケーションのクラッシュを回避する仕組みをGoogleが発表"

[topiyama]

放射線試験じゃなくて、運用状態での ECC2ビットエラー まだお目にかかったこと無いわ自分（1ビット訂正履歴はある）

[REV]

intelだとXeon以上だが、AMDならRyzenでも高いﾁﾌﾟｾｯﾄならECC対応じゃなかったっけ？

[mohno]

「2009年のGoogleの調査では同社の本番システムにおいて、1年間で8％以上のDIMMモジュールにメモリエラーが発生していた」←Linusが怒るわけだ→https://gigazine.net/news/20210105-linus-bad-policy-intel-ecc-memory/

[napsucks]

原因不明のECCエラーは宇宙線の影響とよく言い張られるね。ECCダブルビットエラーを回避できるのは面白い。ハードウェア的にクラッシュ不可避な実装なのかと思ってたがソフトウェアでトラップできちゃうのね。

[tmatsuu]

もうGoogle Cloudでは「宇宙線のせいです」と利用者が言い訳できなくなるのですね、わかります。

[azzr]

ECCで訂正できず、検出だけできるケースへの対処か。

[blueboy]

　メモリーエラーの解説　→　https://bityl.co/8aiA　　　宇宙線の中性子が原因。　 巨大水槽の下に置くのが安全。　プール設置が増えるか？

[natu3kan]

関連じゃない：世界で初めて半導体ソフトエラーを引き起こす中性子のエネルギー特性を測定～宇宙・他惑星などあらゆる環境での中性子起因ソフトエラー故障数を算出可能に～ (https://group.ntt/jp/newsrelease/2020/11/25/201125a.html)

[mapk0y]

CT（Certificate Transparency、TLS証明書の証跡を監査ログに記載して信頼性を高める仕組み）で 1bit 反転があった例が mazaic.fm#86 で紹介されてたけどそういうのも防げたらいいな

[nakag0711]

ECC使うこと前提なのかな

[tsz]

HVのメモリがやられたらやっぱり御破算？まあ、HVのメモリはメモリミラーとかでさらに保護してるか。

[kamei_rio]

"メモリエラーで巻き添えになる「犠牲者の隣人」としての仮想マシンの発生を回避し、またメモリエラーが発生した領域のOSやアプリケーションも迅速なリスタートを開始するなど"