GoのGCを10分で学ぼう - Qiita
はじめに GoのGC(Garbage Collection)を調べる中で学んだことをなるべく分かりやすく簡潔にまとめたものです。 GCのアルゴリズムやメモリ割り当てについてまとめています。 記事内で使われている「オブジェクト」という用語はGoにおいては適切でないかもしれませんが、説明のしやすさから使用しています。 概要を把握しやすいように単純化しているため細部は正確でない部分があります。 GC基本 用語集 前提となる用語です。 ルート ルートとは、オブジェクトが到達可能か（生存しているか）を判定するための始点です。 プログラミング言語にもよりますが、基本的にメモリのスタック領域がルートになります。 フラグメンテーション フラグメンテーションとは、使用可能なメモリが断片化し途切れ途切れになっている状態です。 フラグメンテーションになってしまうと、総量的にはメモリが空いていてもアプリケーション
objgraph による Python メモリリーク調査
概要 メモリリーク時に JVM の jmap や C/C++ の Valgrind で調査できるのと同様に、Python では objgraph が便利です。 sudo apt install graphviz python -m pip install xdot python -m pip install objgraph タイプ毎にオブジェクト数を表示 sample.py #!/usr/bin/python # -*- coding: utf-8 -*- from objgraph import show_most_common_types class MyBigFatObject(object): pass def Main(): obj = MyBigFatObject() show_most_common_types(limit=999) if __name__ == '__ma
Pythonプログラムのメモリの使用状況をトレースする - CLOVER🍀
これは、なにをしたくて書いたもの？ ちょっと、Pythonプログラムで使用しているメモリの状況を追ってみようかなと。 Python標準ライブラリにtracemallocというものがあるので、こちらを利用できます。またobjgraphというものを使えば、 オブジェクトの参照も見れるようです。 このあたりを試してみましょう。 なお、次のようなものもあるようですが、今回はパス。 GitHub - fabianp/memory_profiler: Monitor Memory usage of Python code GitHub - jmdana/memprof: A memory profiler for Python. As easy as adding a decorator! GitHub - nvdv/vprof: Visual profiler for Python 環境 今回の環境
uWSGIのチューニングで調べたこと - Qiita
事象 メモリ使用率が90後半に張り付いたまま、コンテナごとホストに落とされる リクエスト数増大につれ、メモリリークっぽい動きをしている Worker再起動すれば、メモリ使用率が下がる 調査 max_requests ってオプション使えばリクエスト数ベースでWorkerをリロードしてくれるっぽい ただし、すべてのプロセスが同時にリロードした場合、リクエストを受け付けられないので、同時に落ちないようにしなきゃならない max_requests_delta ってオプションでずらせるようにマニュアルに書いてある なお、max_requests_delta はpipからインストールした場合使えない模様 利用する場合は、ソースからビルドしなきゃならない 対応 --idleと--cheapで一定時間リクエスト来なかったらworkerを停止するようにした 参考 結果 一定負荷をかけた後、放置するとメモリ使
メモリ管理をやってくれるPythonのガベージコレクションとは？ | 侍エンジニアブログ
ガベージコレクションってなんだろう ガベージコレクション（Garbage collection）とは、必要なくなったメモリ領域を自動的に開放する機能です。 Pythonのプログラムは実行のために必要なメモリを自動的に確保してくれますが、GCはその後片付けをしてくれる機能だと思ってください。 Pythonには大きく分けて２つのガベージコレクションのコンポーネントがあります。これが参照カウントと世代別ガベージコレクションです。 参照カウント これは非常にシンプルな考え方で動くガベージコレクションアルゴリズムです。プログラム中でオブジェクトへの参照がない場合に、そのオブジェクトの割当を解除（メモリを開放）します。 ここでいう参照カウントとは「そのオブジェクトが参照されている数」を記録した数字です。これはオブジェクトごとに用意されています。 参照カウントが増えるのは以下の処理を行ったときです。 代
uWSGIでStatsが見られるようにしたい - Qiita
TL;DR uWSGIでサーバーの状態（Stats）を見るには、uWSGI Stats Serverを使えばよい uwsgiの起動オプションとして設定すれば、利用可能 データはソケット（HTTP含む）で取得できる ただし、取得できる項目がどういった意味なのかは特にドキュメンテーションされていない様子… ソースコードを見て把握するしかなさそう モチベーション uWSGIを使ってアプリケーションをデプロイ、公開する際に、uWSGIからメトリクスを取得したい、というのが動機です。 The uWSGI Stats Server で、ページを見つけたはいいものの、取得できる項目のサンプルはありますが、それがどういう意味家はドキュメントには見当たらず、日本語情報もなさそうです…。 といって、このページでそれを解説するわけでもないのですが。 そもそも、uWSGIでメトリクスを取得するには？ 前述のドキュ
Pythonのガベージコレクタは「マーク&スイープ」？ - atsuoishimoto's diary
昨日公開した Pythonのガベージコレクション にこんな突っ込みをいただいた。 マークアンドスイープGCじゃないそうです PythonのGarbageCollection http://www.narihiro.info/translate/garbage_collection_for_python_jp.html 確かに、Pythonで使用しているのは教科書で言うマーク&スイープとは異なるアルゴリズムである。上記のページにあるように、いわゆるマーク&スイープは、ルートオブジェクトと呼ばれる生きていることが確実なオブジェクトを見つけ出し、そこから参照されているオブジェクトをどんどん探り出して、最終的に誰からも参照されていないオブジェクトをあぶり出すというものだ。Pythonではルートからオブジェクトを探すというアプローチを取っておらず、私も会場の説明では「マークアンドスイープの一種」のよ
Garbage Collectionについてちょっと調べてみた - wyukawa's diary
HBaseのJuliet PauseをきっかけにしてGarbage Collection(以下GC)についてちょっと調べてみました。そういえば長年Javaでお仕事している割にはGCのこと全然知らなかった（汗 GCというのは不要になったメモリを回収することをいいますがそのアルゴリズムにはいくつかあって代表的なものとして以下の2つがあります。 Mark Sweep GC Coping GC Mark Sweep GCはオブジェクトをアプリケーションからたどっていってMarkしていきます。Markが無いのは使われていないオブジェクトなのでSweepします。メリットは実装が簡単なことでデメリットはメモリの断片化、フラグメンテーションが起きることです。 Coping GCはヒープ領域を2つに分けてオブジェクトをコピーしたり移動したりすることです。メリットはスループットが高いことやフラグメンテーション
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
OutOfMemoryError の対応方法/Heap 分析ツール(MAT)の使い方
OutOfMemoryError の対応方法/Heap 分析ツール(MAT)の使い方 1. Copyright (c)2014 ITOCHU Techno-Solutions CorporationCopyright (c)2014 ITOCHU Techno-Solutions Corporation OutOfMemoryError の対応方法 / Heap 解析ツール(MAT)の使い方 ソリューションビジネス部 橋本 和俊 2014/6/24 2. Copyright (c)2014 ITOCHU Techno-Solutions Corporation はじめに • 発表する内容は個人の見解であり、所属する組織の公式 な見解ではありません。 • 資料の内容は正確を期するよう注意しておりますが、妥 当性や正確性について保証するものではありません。 • 資料に関しては以下の環境において
JavaVMのメモリ管理に関するまとめ（Javaヒープ、GC、ダンプ等） - ぺーぺーSEのブログ
本ブログはJava8（特にMetaspace）に対応していない。 下記にJava8以降に対応した記事を記載する（予定）。 blog.pepese.com JavaVMのメモリ領域について JavaVMが管理するメモリ領域について 階層1 階層2 階層3 説明 Javaヒープ JavaVM上で起動するJavaプログラムのリソースを管理する領域。New領域とOld領域で構成される。 ｌ" New領域 新規オブジェクトと閾値（-XX:MaxTenuringThreshold）未満のオブジェクトが配置される。（Young領域とも呼ばれる） ｌ ｌ" Eden領域 新規のオブジェクトが配置される。 ｌ ｌ" From領域 CopyGC(ScavengeGC、マイナーGC)が実行された際に、使用中のオブジェクトはここへコピーされる。（S0やS1とも呼ばれる） ｌ ｌー To領域 CopyGC(Scav
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
uwsgi でアクセスがあるまで worker 起動を遅延 & アクセスが無くなったら worker を止めたい - memo
IBM Notes and Domino Application Development wiki