mmapを使ってファイルベースの巨大なバッファを確保する話

小さなバッファはインメモリでもつが、メモリに収まらないような大きなバッファはテンポラリファイルを作り、file I/Oでアクセスする、というのが昔からの汎用的なバッファ実装のアプローチ。 だが、バッファに格納するデータ量によってアクセス手段を変えるというのはめんどくさいし、そこを抽象化すると無駄なオーバーヘッドが発生する。 幸いなことに最近は、メモリ空間が広い 64bit CPU だけ考えればいい。なので、ファイルの「読み込み」については、めんどくさいから全部mmapするというのが一般的なアプローチになってきている（例: LLVMのリンカであるlld）。 同様のことが、テンポラリファイルを使う可変長のバッファについても可能であり、h2o では実際に実装している。詳しくは h2o_buffer_reserve 関数の実装を見てもらえばいいと思いますが、ざっくりとした手順は以下のとおり： ▪️

[vanbraam]

mmapで巨大ファイルを扱うのって,大昔(20年ほど前)にUnix上のDBMSの下回りの実装を読んだり書いたりしていた頃には既に一般的だった気がするけど,何か新機軸があるのだろうか?それとも自分の勘違いか記憶違い?

[matsumoto_r]

fmfm

[you21979]

昔、データベース作るときに使ったけどほか使いみちあるのかな

[kazuhooku]

blogged