細かすぎて伝わらない「形態素解析器 kagome のメモリ周りの話」を pprof で調べる - 押してダメならふて寝しろ
はじめに きっかけは形態素解析器 kagome にいただいた Issue です． github.com 端的に言うと， 入力文字列に対して，前から1文字ずつずらしながら辞書引きを繰り返して，可能性のある形態素をすべて洗い出すんですが，その際に辞書を CommonPrefixSearch するメソッドでメモリをアロケートしすぎじゃないか？ というお問い合わせです． たしかに 800MB くらいアロケートしてるように見えます．ひえー というわけで調査． 道具は揃っている golang では pprof が使えます．これで速度パフォーマンスとメモリ使用状況が確認できます． 使い方は，KLabGames Tech さんがまとめてくださっているすばらしい記事がありますので，こちらを参照ください． Go pprof 入門編 (CPU Profile とコマンドラインツール) : KLabGames T
Go言語でメモリ上の大きさや配置を調べる
golangで構造体を定義した場合、 メモリ上にどのように配置されるのでしょうか。 通常意識する必要はありませんが、32bitと64bitで挙動がおかしい場合など、 ごく希に調べる必要に迫られる場合があります。 そのような場合、各要素のサイズや、構造体先頭からのオフセットを調べることで、 メモリ上に構造体がどう置かれるかを調べることができます。 C言語でのsizeofやoffsetofに対応する物が、golangのunsafeパッケージに用意されているため、 これを利用することで構造体の様子を調べることができます。 https://golang.org/pkg/unsafe/ 今回は以下のようなテスト構造体を使い、メモリ上にどのように置かれるかを調べました。 テスト環境はwindows7(32bit)とmac(64bit)になります。 type A struct { flag bool n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
