Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel ブログ #mackerelio

Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada

[itchyny]

書きました

[n314]

すごいけど、実際には計算とカーネル見る前に load average "7 hours" とかで検索してから調べてそう。

[kfujieda]

ロードアベレージを測るプログラムが自身の与えた負荷を測ってしまった観測者効果。

[matsumoto_r]

おもしろい。loadavgの更新と取得が一致したら、更新タイミングが一致しない時(loadavgの値はある)と比べて高くなるのはそもそもなんでなんだろう

[sugawara1991]

loadavgの記録間隔が約5秒なのはいいとして、周期タスクと一致したときだけ有意なスパイクになるってことは、常日頃から5秒に満たないloadスパイクが検出できてなくない？

[Songmu]

面白現象についての技術徹底解説です

[ngyuki]

mackerel じゃないけど munin で監視してるサーバもプラグインのプロセスがフォークされるので同じように7時間ごとにLA上がってるっぽかった

[erya]

マリオの床があがってくる話？

[TMCNE]

https://blog.avast.com/investigation-of-regular-high-load-on-unused-machines-every-7-hours

[wittro]

すごいし納得感あるんだけど、ノイズだからこの盛り上がりを均す制御をいれてもらえんものだろうか。(まぁLA監視しても大体の場合意味ないので見てないが)

[tyru]

おもしろすごい

[tmatsuu]

うおー最高。昔手元のNagiosで同様のloadavg上昇があって、nagiosのソースを追ったものの分からず諦めたの思い出した。素晴らしい。

[masaru_b_cl]

理屈と実測値とソースの3方向から解析していて素晴らしい

[kita-tuba]

Linuxのloadavgが約7時間ごとに上昇する現象の原因

[escape_artist]

モアレ現象みたいな。

[kyswtnb]

LAのからくり！

[taruhachi]

これ、結局は修正の必要があるバグじゃね？前後数秒計測して明らかに外れた値を棄却するとか。

[IGA-OS]

でぃすいず おーぷんそーす って話題だな。

[wtatsuru]

おもしろかった

[hiromichinomata]

"loadavgの再計算が5秒ぴったりから少しだけずれているために、mackerel-agentがメトリック収集を始めるタイミングとloadavgの再計算のタイミングが定期的に一致する"

[nopipi]

この解析、すげー‼︎ このチョコっとプラスして、周期が一致しないようにするのcronのdailyやweeklyでもあったような。(レベル感が違うけど) >HZ が1000の環境では、loadavgは5.001秒ごとに更新されます。

[rx7]

なるほど、面白い。

[itochan]

FizzBuzz >素数ゼミ

[utisam]

なんでかなと思ってたけどこういうことだったのか。

[f-miyaji]

「何かアブナイから導入しないでおこう」 にならなければいいが・・・

[nilab]

Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel ブログ #mackerelio

[yosshi1202]

面白い。すごく説得力ある。

[rsyudou]

懐かしい単語を久々に見たので言わせてもらうと、大体の原因はディスク負荷だった思い出。

[naoto408]

おもしろい

[mitimasu]

わかった、浮動小数点演算結果の処理が異なるんやろ？（混乱

[zu2]

これは面白い！　よく調べたなあ

[hageatama-]

おもしろい

[astap]

おもしろい

[halfrack]

これエイリアシングなのか、ナルホド。

[ngsw]

素数ゼミみたいなこと考えながら読んだ

[hdampty7]

ああ、これ、確かに経験あるな。なんでか定期的にLAが上がってるんだけど、実際には影響ないってやつ。LA計算の負荷も含まれるので実害はない（完全にない訳じゃないだろうけれど）。

[minemuracoffee]

疾走感のある文章

[kitone]

短編ミステリーみたいやな

[dickbruna]

うるうloadavg