HBMの速さとSSDの大容量を兼ね備えた「HBF」

[theatrical]

俺は昔から次世代メモリの目標としてユニバーサルメモリが語られるのが違和感があった。パフォーマンス考えるなら複数種を組み合わせるほうが良いと思っていた

[bluescreen]

キオクシアは噛んでないのか

[wordi]

フラッシュメモリで書き換え耐久性がSSDと同じだとすると、推論時にめっちゃ書き換え発生するから1年も保たなそう

[YaSuYuKi]

目的がLLMのウェイトだとすると、推論時は読むだけで変更しない上次に必要なデータが予想しやすいのでflashメモリーの特性によく合う。他の用途には適さない

[urtz]

NANDは書くのがめちゃ遅いので、あまり書き換えしない用途。ウェイトとかKVキャッシュの低使用頻度データとか。メモリ節約用途

[qpci32siekqd]

普通のSSDの使い方と違って全セルをずっと書き換えだから寿命がダメそう。GPU側も3年持てばって感じなのでいいんかもしれんが

[minamihiroharu]

AIマネーがジャブジャブの会社しか買えない様な値段になるんだろうしなあ。

[yorkfield]

GeForce RTX 5090のメモリ帯域が1.8TB/sだから、最大3TB/sは速いとは思うけど、HBM並の速さと言うには一桁足りなくない？原文でもHBMとSSDの間の新しいメモリ階層だと言っていてHBM置き換えを狙っているわけではない。

[u_mid]

まぁこれは単純に今までのようなストレージアクセスより速いから何かと何かの良いとこ取りというよりは次世代の別技術への変更による速度向上だけど、NVIDIA cuFile APIとの関係は？サポートするのか独自路線なのか

[nguyen-oi]

UCIe採用で統合しやすいのは良いとして発熱対策がカギになりそう

[kenzy_n]

古来より良いとこ取りはあまり上手くいかない。