mmapを使ってファイルベースの巨大なバッファを確保する話
小さなバッファはインメモリでもつが、メモリに収まらないような大きなバッファはテンポラリファイルを作り、file I/Oでアクセスする、というのが昔からの汎用的なバッファ実装のアプローチ。 だが、バッファに格納するデータ量によってアクセス手段を変えるというのはめんどくさいし、そこを抽象化すると無駄なオーバーヘッドが発生する。 幸いなことに最近は、メモリ空間が広い 64bit CPU だけ考えればいい。なので、ファイルの「読み込み」については、めんどくさいから全部mmapするというのが一般的なアプローチになってきている（例: LLVMのリンカであるlld）。 同様のことが、テンポラリファイルを使う可変長のバッファについても可能であり、h2o では実際に実装している。詳しくは h2o_buffer_reserve 関数の実装を見てもらえばいいと思いますが、ざっくりとした手順は以下のとおり： ▪️
C# MemoryMappedFile Example - Dot Net Perls
MemoryMappedFile. This type provides a performance advantage. It is found in the System.IO.MemoryMappedFiles namespace. It is an abstract data type. With MemoryMappedFile, we put a file into memory. In some cases it allows for better memory management than using arrays. MemoryMappedFile improves performance of binary file loading. A simple start. Let's try just loading a file into a memory mapping
Memory-Mapped Files - .NET
A memory-mapped file contains the contents of a file in virtual memory. This mapping between a file and memory space enables an application, including multiple processes, to modify the file by reading and writing directly to the memory. You can use managed code to access memory-mapped files in the same way that native Windows functions access memory-mapped files, as described in Managing Memory-Ma
Memory-Mapped I/O
Memory-Mapped I/O The default mechanism by which SQLite accesses and updates database disk files is the xRead() and xWrite() methods of the sqlite3_io_methods VFS object. These methods are typically implemented as "read()" and "write()" system calls which cause the operating system to copy disk content between the kernel buffer cache and user space. Beginning with version 3.7.17 (2013-05-20), SQLi
SQLite、mmap対応で最大2倍高速化
SQLite is a software library that implements a self-contained, serverless, zero-configuration, transactional SQL database engine. 5月20日(米国時間)、SQLiteの最新版となる「SQLite 3.7.17」が公開された。いくつかの機能追加とバグ修正が実施されている。特に注目されるのはメモリマップI/Oと呼ばれる機能が追加された点にある。この機能を有効にするとディスクI/Oが大量に発生するようなケースでメモリアクセスの量が減り、最大で2倍ほどの性能向上が期待できる。いくらかの危険性も伴うため、今回のリリースではデフォルトでは機能は無効化されている。 SQLiteは基本的にread(8)/write(8)システムコールを使ってディスク上のデータベースファイルの内
)
Managing Memory-Mapped Files in Win32
Randy Kath Microsoft Developer Network Technology Group Created: February 9, 1993 Abstract Determining which function or set of functions to use for managing memory in your application is difficult without a solid understanding of how each group of functions works and the overall impact they each have on the operating system. In an effort to simplify these decisions, this technical article focuses
Hugepages - Debian Wiki
Why huge pages? When a process uses RAM, the CPU marks it as used by that process. For efficiency, the CPU allocates RAM in chunks—4K bytes is the default value on many platforms. Those chunks are named pages. Pages can be swapped to disk, etc. Since the process address space is virtual, the CPU and the operating system need to remember which pages belong to which process, and where each page is s
mmap＋POSIXセマフォによる高速なプロセス間通信 - mp::ipc_vector - Blog by Sadayuki Furuhashi
同じホストの異なるプロセスの間で、高速な通信を行いたいときがあります： fork() したプロセスと通信したい場合や、「アプリケーションたくさん → localhostのクライアントデーモン１つ → サーバー」という形で接続したい*1 *2 場合などなど。 あるいは共有リソースを管理するプロセスが必要なとき、具体的には memcached が localhost で動いるイメージ。 こんなときに高速なプロセス間通信がしたい。スレッドなみに高速だと嬉しい。 そこで、POSIXセマフォを使って排他制御をしつつ、mmap(2) を使って共有したメモリの上でデータをやりとりすることで、高速にプロセス間で通信を行えるようにするライブラリを作ってみました。 さっそくベンチマーク： 時間 スループット換算 UNIXドメインソケット 4.44 sec 25 MB/s ipc_vector（sleepなし）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
looking for Windows RAM-based shared memory solution in C++
http://www.kernel.org/doc/Documentation/vm/hugepage-mmap.c
http://www.kernel.org/doc/Documentation/vm/map_hugetlb.c
mmap (メモリマップトファイル) : kei@sodan