Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
I/O負荷の正確な状況はiowaitでは分かりません - Qiita
さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ
Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017
Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017 Dockerは、コンテナの実行に必要な機能に特化したLinux Subsystem「LinuxKit」を、テキサス州オースチンで開幕した同社のイベント「DockerCon 2017」で発表しました。 Linux Subsystemとは、例えばWindows 10のbash機能がWindows 10内部に用意されたLinux Subsystemで実現されているように、システムの一部として組み込まれて動作し、Linuxの機能を提供するコンポーネントを指す一般名称です。 つまりLinuxKitとは、コンテナプラットフォームに組み込まれてLinuxの機能を提供するコンポーネントということになります。 Linux Foundationなどと
Linux シグナルの基礎
TLPI (The Linux Programming Interface) 再々。 TLPI の輪読の際に @matsumotory よりシグナルセットあたりをまとめるようにと指令が出たので、拙遅な感じでまとめました。 シグナルとは プロセス間通信の一種。「プロセスにシグナルを送信すると、そのプロセスの正常処理に割り込んで、シグナル固有の処理(シグナルハンドラ) が実行される」プロセス側では、シグナルを受信した際の動作(シグナルハンドラ) を設定することや、シグナルをブロックすることも可能。 コンソールで、プロセスを終了させるためにkill -9 <PID>とかCtrl+Cとかした際にも、対象プロセスにシグナルが送信されている。 ちなみに、PID「1」の init や systemd にkill -9 1しても何も起らない。(そういえば昔、oom-killer に init を殺された覚
perfの使いかた
概要 Linuxのパフォーマンス解析ツールであるperfの使いかたの紹介 背景 個人的にperfよくできてると思うので紹介したいというのと、 パフォーマンスカウンタの読み方ってあんまり知られてないみたいなので、 それの解説を書きたい。 構成 perf について説明したあと、パフォーマンスカウンタの読みかた、見かた、を説明する。 perfとは何か Linuxに付いてくるプロファイラ。 man perf によると、 NAME ---- perf - Performance analysis tools for Linux と、書いてある。名前がひどいのでなんとかしてほしい。 perf の特徴 個人的には、手軽に使えるのが素晴らしいと思う。 2.6.31以降カーネルに標準で付いてる。(Ubuntuだとlinux-tools-common(TODO:あとで確認)で入るはず) 特殊な設定が必要無く、
Docker、OCI やめるってよ : 革命の日々 その２
週末のTwitterの応酬が面白かったのでメモ タイトルはもちろん「桐島、部活やめるってよ」のパクリですが、わたしはこれ見たことないです。 Kelsey Hightower （GoogleのKubernetesの中の人） がまず燃料投下 There are many application platforms that support Docker images without the Docker daemon. Which one was first I have no idea. — Kelsey Hightower (@kelseyhightower) 2016年7月28日 Dockerアプリ動かすのってもうDocker純正エンジンいらないよねー もちろん（Docker CTOの） Solomon Hykes は反論 @kelseyhightower pseudo-support.
未来のCPUの機能をカーネルのちからで現代のCPU上でも実行可能にする - pixiv inside [archive]
ピクシブ株式会社 Advent Calendar 2015の3日目の記事になります。 いま画像処理の仕事をしているエンジニアの saturday06 です。 最近仕事でアセンブラに触れたので、この記事ではそれに関連して趣味でやった開発について書きます。 未来のCPUの機能・AVX512命令 AVX512命令という、512ビットのデータをいっぺんに扱うことができるCPUの機能がIntelから発表されています。 AVX-512 instructions | Intel® Developer Zone AVX-512 - Wikipedia, the free encyclopedia AVX512命令はいわゆるSIMDと呼ばれる系列の命令です。最近画像処理系の仕事でSIMDが必要になったり、また7月に社内で行われた勉強会 でもSIMD押しだったため、最新な命令であるAVX512もちょっと見てい
![未来のCPUの機能をカーネルのちからで現代のCPU上でも実行可能にする - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5c64912b5d29a947feed93b97fd51f34e27e08/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F11696248318756278971%2F6653586347147076734%2F1449140542)
”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog を書きましたが、awk file > file より cat file|awk > file が速い環境は稀なようなので、私の環境でなぜ cat file|awk > file のほうが速いのか調べてみました。プロセススケジューラが関係しているようです。 ↑はPerf + Flame Graphs で、awk file > file 実行時のコールスタックと所要時間を可視化したものです。 結論(たぶん) SSDの暗号化・復号をカーネルスレッドで行なっているのと、プロセススケジューラが awk とカーネルスレッドを同じ CPU にスケジューリングしていた(他に空いている CPU があるのに)。 awk file > file では暗号化データを復号するカーネルスレッドと awk のプロセスをプロセススケ
よくわかるLinux帯域制限 | GREE Engineering
矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が
Linuxのプロセススケジューラ(Reading the Linux process scheduler)
1. Linuxのプロセススケジューラ (Reading the Linux process scheduler) Copyright Hitachi Ltd. 2014. All rights reserved. 日立製作所 横浜研究所 豊岡 拓 (hiraku.toyooka.gu@hitachi.com) ! Linux 3.15.0版 2. プロセススケジューラに関す るトピックの全体像 プロセススケジューラ スケジューリング・クラス CFS Real-time Copyright Hitachi Ltd. 2014. All rights reserved. Dead-line ロードバランスグループ・ スケジューリング カーネル内 プリエンプション stop idle 省電力 割り込み, スピンロック プロセス/スレッド, 時間管理, 高精度タイマ, tick管理, etc..
Linux Kernelの最新版を入れると良いことがあるの？
パブリックドメインにした @perujimi ubuntuの次期リリース開発版のutopic版に、linuxカーネル3.16RC2（開発版）が入れられるようになったっぽい？ inuxカーネル・アーカイブで最新カーネルを見たら、3.16RC3になってた。 パブリックドメインにした @perujimi 「3,16 rc2 ubuntu」でツイッター内を検索すると、いくつか検索結果が出てくる。 しかし「3,16 rc2 debian」でツイッター内を検索しても、現時点では出てこない。debianのコミュニティーは、他所のタダ乗りなのか。debianだって開発版を出してるだろうに。 パブリックドメインにした @perujimi ubuntuのテスト版にカーネル3.16rc2版が出たというので、使用中のkonalinux（debian系の軽量linux）にubuntuのカーネル3.16rc2を端末入
Linuxのしくみを学ぶ - プロセス管理とスケジューリング
「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」公開ページ こちらのページはSoftware Design誌 2009年12月号の記事「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」の公開ページです。 「ハイパーバイザの作り方」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 HTML PDF ePub mobi Kindle 原稿データ 全ての原稿データはgithub上で公開されています。 Pull RequestやIssuesを通じて文章の誤り訂正や解説の追記、各フォーマットの表示の改善などのコントリビューションを受け付けています。 改善された記事は随時このページにアップロードしていきます。 記事に関するご質問 記事を読んで何かわからなかった点があったり、疑問に思ったことがあれば以下の連絡先に問い合わせてください。 Twitter: @syuu
Heroku Meetup #12 恋に落ちるときはいつもハッピー
Heroku Developer Meetupは、Herokuに興味がある開発者のためのイベントです。既にHerokuを使っている方だけでなく、これからHerokuを使ってみようかな？と思っている方もご参加ください。 今回は、"恋に落ちるときはいつもハッピー" で有名な「がちゃぴん先生」をゲストにお招きしています。 がちゃぴん先生はLinuxやRubyなどのコミッターであり、世界的にも有名なオープンソース・ソフトウェア開発者のひとりです。現在は米国にてLinuxカーネルの改善をおこなっています。 入館手続きについて 入館受付は 19:00 開始です。 オフィスフロア入り口である11Fにお越しください。ヒカリエビル内の地下フロアやJRとの連絡通路がある2Fなどに、11Fへのエレベータが数カ所設置されています。 当日11Fには、本イベント用の特設受付をご用意しておりますので、そちらへお越し頂き
小さいLinux環境の作り方
小さいLinux環境の作り方 Presentation Transcript 小さい Linux環境の 作り方 Naomasa Matsubayashi 保存するアイコン フロッピーディスク 2000年代初頭 フロッピーディスクに必要な物が全部入った Linuxディストリビューションが流行った floppix http://floppix.com/ HAL91 http://chris.silmor.de/hal91/ tomsrtbt http://www.toms.net/rb/ 3.5インチフロッピーディスクの容量 1D 2D 1DD(Mac) 1DD 2DD(Mac) 2DD(PC-98) 2DD 2HD(PC-98) 2HD(PC/AT,Mac) 2ED 2TD 160KiB 360KiB 400KiB 360KiB 800KiB 640KiB 720KiB 1232KiB 1440
クックパッド「とりあえずこれ読んどきなさい」と言われた本5冊 - せかいや
注意 このエントリは、会社の公式見解などでは全くありません。 社内のエンジニアたちのグループチャットで聞いて、集まった意見をまとめただけです。 このエントリはただの備忘録として書き留めただけだったのですが、 全く予想外に、多くの反響を頂き戸惑っています。。 頂いたコメントの中には「このレベルも知らないでクックパッドに入れるのか」といったものもありましたが、 一応、個人的には、例えばDB周りだとオラクルシルバ取得程度の知識はありますm()m 「良い環境にいるのだから改めて初心で勉強したい」という旨で皆に尋ねた結果であり、、 もしガッカリさせるようなことがあれば非常に心苦しいです。 良くも悪くも自分がこれらを消化できるかという話なので、 ここに並んでいる本を見てクックパッドをどうこうは思ってほしくないです。。 申し訳ありません。。。 summary the books which I have
LinuxカーネルのMLにおける悪口の励行についての議論勃発
Linuxカーネルのメーリングリストは、常に罵詈雑言に満ち溢れているが、そういうのは辞めて大人になろうという主張がSarah Sharp[1]によってなされた。なかなか面白い。 きっかけは、いたって日常的な罵倒混じりの議論に、Sarah Sharpが横槍を入れたところから始まった。 LKML: Sarah Sharp: Re: [ 00/19] 3.10.1-stable review On Fri, 12 Jul 2013 18:17:08 +0200, Ingo Molnar <mingo@kernel.org> wrote: * Linus Torvalds <torvalds@linux-foundation.org> wrote: On Fri, Jul 12, 2013 at 8:47 AM, Steven Rostedt <rostedt@goodmis.org> wrote
Kernel-Based X11 Server Claims 2x Performance Over X.Org - Phoronix
Kernel-Based X11 Server Claims 2x Performance Over X.Org Written by Michael Larabel in X.Org on 24 June 2013 at 06:37 PM EDT. 45 Comments MicroXwin is an X.Org Server alternative for an X Windows System implementation for Unix/Linux desktop. The developers behind MicroXwin are claiming that by implementing their X Server in the kernel they are getting a 2x performance advantage while using less me
Linux ファイルシステムにおけるバグ傾向
Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の 6 つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の 5 種類に分類しています． Bug バグの修正． Reli
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Delete duplicate word "long long" in Introduction by AlonsoIbarra · Pull Request #335 · torvalds/linux
https://events.static.linuxfound.org/sites/events/files/slides/ProdNG_0.pdf