メモリ管理のブラックボックスを解き明かす 〜glibc mallocの動的最適化と、Python 3.14 mimallocがもたらす未来〜 - GO Tech Blog

こんにちは。GO株式会社 AI技術開発部 データプラットフォームグループの按田です。 データ基盤、機械学習基盤、アルゴリズム基盤の開発、運用、診断、性能改善など、システム寄りの課題に取り組んでいます。 我々のチームが運用するシステムは、ワークロードの特性からPythonが採用されることが多いです。Pythonで書かれたアプリケーションでは「GC（ガベージコレクション）が動いているはずなのに、OS側から見た物理メモリ使用量（RSS）が減らず、最終的にOOM（Out of Memory）が発生する」という事象に直面することがあります。 一見するとメモリリークのようですが、Python自身のGCはきちんと動いています。問題は、Pythonの下に潜むCランタイム層——Linuxでは標準的な glibc malloc——の「速度優先の最適化」にあります。本記事では、このメモリ管理のブラックボックスを