[訳] The burstable CFS bandwidth controller
LWN の The burstable CFS bandwidth controller の日本語訳です。 カーネルの CFS 帯域幅コントローラーは cgroup 毎に利用可能な CPU 時間を効率的に制御できる。特定のプロセスが CPU 時間を大幅に消費するのを防ぎ、CPU 時間を使いたい全てのプロセスに十分な時間を確保できる。とはいえ当然のことながら、帯域幅コントローラーが全てのワークロードに完璧に対応できるわけではない。Huaixin Chang の一連のパッチは、バーストするレイテンシの影響を受けやすいワークロードでより良く動作することを目指している。 帯域幅コントローラーは “Completely Fair Scheduling (完全に公平なスケジューリング)” (CFS) タスク (”リアルタイムプロセス”と対比して”通常プロセス”とも呼ばれる) にのみ適用される。リアルタ
![[訳] The burstable CFS bandwidth controller](https://cdn-ak-scissors.b.st-hatena.com/image/square/053b2fd0c855cd9a8a7b72a29f20a75217b89ed5/height=288;version=1;width=512/https%3A%2F%2Fstorage.googleapis.com%2Fzenn-user-upload%2Favatar%2Fd9647d1a08.jpeg){kind=avatar}
第49回 cgroup v2のリソース分配の方法とインターフェースファイルの操作 | gihyo.jp
前回はcgroup v2で使えるコントローラのうち、v1から大きく変わったコントローラや、新たに実装されたコントローラについて説明しました。 今回はcgroup v2で行われるリソース制御のタイプ、cgroupで使うインターフェースファイルに関係する規則や、コントローラでリソース制限を設定する際に関係するファイルのフォーマットや書き込み方について説明したいと思います。 cgroupとcgroup内ファイルの命名規則 cgroup v1には、cgroupで使用するファイルやその内部の書式について、明確な規則はありませんでした。cgroup v2では、ファイルに関する規則がきちっと定められました。この決まりを説明していきましょう。 今回の実行例は、前回と同じくUbuntu 21.10環境で実行しています。 まず、cgroup自体の動きに影響するcgroupコアに関係するインターフェースファイル
cgroupsに影響するLinuxの新たな脆弱性CVE-2022-0492 コンテナエスケープの条件は
By Yuval Avrahami March 3, 2022 at 5:09 PM Category: Cloud Tags: containers, CVE-2022-0492, Linux, vulnerabilities This post is also available in: English (英語) 概要 2022年2月4日、Linuxはカーネルにおける新たな特権昇格脆弱性CVE-2022-0492を公表しました。CVE-2022-0492はコンテナの基本構成要素であるLinuxの機能、コントロールグループ(cgroup)における論理バグです。この問題は最近発見されたLinuxの権限昇格脆弱性のなかでもとりわけその単純さできわだつもので、「Linuxカーネルが誤って特権的オペレーションを非特権ユーザーに公開してしまった」という内容になっています。 さいわい、ほとんどのコン
【続】 Linux Kernel: cgroup 削除後も残り続ける slab キャッシュ についての調べ物 - upsteam は修正パッチが入って解決済み - hibomaの日記
以前に下記のエントリを書きました。勉強会に登壇するネタとして調べ直したところ 新しい Linux カーネルでは問題が解決されていました。 hiboma.hatenadiary.jp hiboma.hatenadiary.jp hiboma.hatenadiary.jp hiboma.hatenadiary.jp どんな問題ですか? 「cgroup を削除した後も sysfs の slab キャッシュ が残る」 と 「slab キャッシュ が reclaim されるタイミングで必要のない uevent が送出される」 という二つの問題でした。 問題 と書いていますが、対象の slab キャッシュは inode っキャッシュや dentry キャッシュ であり、reclaimable な slab キャッシュです。 reclaimable な slab キャッシュは、カーネルにメモリプレッシャ
スロットリング解除: クラウドにおける CPU の制限の修正 - Indeed エンジニアリング・ブログ
この投稿は、2部構成となっているシリーズの第1部です。 私たちのチームは、2019年に、Kubernetes、Docker、Mesos など、ハードリミットが設定されたほぼすべてのコンテナオーケストレータに影響する CPU スロットリングの問題を解決しました。この過程で、応答遅延で大きな問題があった Indeed のあるアプリケーションでは、遅延が2秒から30ミリ秒に短縮されました。この2部構成のシリーズでは、根本的な原因を見つけ、最終的にソリューションへとたどり着いた取り組みについて説明します。 Photo by twinsfisch on Unsplash この問題が発生したのは昨年、Linux カーネルの v4.18 がリリースされてから間もなくのことでした。Indeed のある Web アプリケーションで応答時間が長くなっていることを把握したのですが、CPU の使用量を確認しても問
Linux Kernel: cgroup 削除後も残り続ける slab キャッシュ についての調べ物 - hibomaの日記
タイトルの通りで、コンテナの生成と削除が頻繁におこなわれているホストで、 cgroup 削除後も特定の slab キャッシュ ( + sysfs のファイル = kobject ) が残るという現象を調べていました 環境 vagrant@bionic:~$ uname -a Linux bionic 5.4.1-050401-generic #201911290555 SMP Fri Nov 29 11:03:47 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 再現の方法 cgroup v1 + memory コントローラーでグループを作る そのグループ内で適当なファイルを作成する cgroup のグループを削除する とすれば ok です #!/bin/bash set -ex for i in {1..10}; do mkdir /sys/fs/cgro
Linux Kernel: cgroup, sysfs, kobject, uevent についての調べ物 - (3) slub_memcg_sysfs ブートパラメータについて - hibomaの日記
以下のエントリの続きです hiboma.hatenadiary.jp hiboma.hatenadiary.jp cgroup 内で生成される slab キャッシュに対応する sysfs のファイルが /sys/kernel/slab/<キャッシュの名前>/cgroup/... 以下に生成されることを追っていました。 kernel のブートパラメータに slub_memcg_sysfs=0 を足すことで sysfs のファイル作成を抑制できるのを確認したのを記したエントリです slub_memcg_sysfs={0,1} Documentation/admin-guide/kernel-parameters.txt には下記のような説明が記されています slub_memcg_sysfs= [MM, SLUB] Determines whether to enable sysfs direc
Linux Kernel: cgroup, sysfs, kobject, uevent についての調べ物 - hibomaの日記
cgroup v1 + memory コントローラーで制限を課した際に、sysfs のファイル = kboject が生成/削除されるタイミングやその仕組みを調べていました 例えば下記のような sysfs のファイルです /sys/kernel/slab/dentry/cgroup/dentry(979:@hogehoge)/objects /sys/kernel/slab/kmalloc-4k/cgroup/kmalloc-4k(979:@hogehoge)/objects /sys/kernel/slab/kmalloc-32/cgroup/kmalloc-32(979:@hogehoge)/objects /sys/kernel/slab/kmalloc-2k/cgroup/kmalloc-2k(979:@hogehoge)/objects /sys/kernel/slab/kmal
Getting Started with PSI · PSI
This page describes Pressure Stall Information (PSI), how to use it, tools and components that work with PSI, and some case studies showing how PSI is used in production today for resource control in large data centers. Overview PSI provides for the first time a canonical way to see resource pressure increases as they develop, with new pressure metrics for three major resources—memory, CPU, and IO
mem_cgroup_commit_charge()の処理 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
カーネルは4.1.15。mem_cgroup_commit_charge()はchargeの処理で呼ばれる関数。 今回はここで使われる関数の詳細は調べないで、大まかな流れを把握するのが目標。 LXRで検索するとmm/filemap.cとかmm/swapfile.c、mm/memory.cなんかから呼ばれてます。 mem_cgroup_commit_charge()自体は40行ほどの関数。引数はcharge対象のpage構造体、所属するmemcgの構造体、最後のlrucareはpageがすでにLRUで管理されているかを示すbool値です。 5522 void mem_cgroup_commit_charge(struct page *page, struct mem_cgroup *memcg, 5523 bool lrucare) 5524 { 5525 unsigned int nr_p
cgroupのv1とv2の切り分け的なところ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
cgroupはv1とv2という2つの実装（と言っていいのか？）があってそれらはkernel/cgroup.cで一つのコードベースにまとまっているのでコード読んでで混乱するなーというところで、誰得なめもを。 特に、4.1とかのカーネルだとv2のコードはまだ正式版となってないけどマージはされていて、DEVELsane_behaviorというオプションを使うことでv2の機能が使えるようになってます（参考： Linux 3.16 から試せる cgroup の単一階層構造 (1) - TenForward）。今はv2がちゃんと入っているのでこのオプションは不要で、cgroupのマウント時にcgroup v2としてマウントするかどうかで切り分けできます。cgroup_mount()のis_v2がそれです。 2083 static struct dentry *cgroup_mount(struct f
Linuxカーネルもくもく会#6に参加してきました - 夜はいよいよ冴えたのだ。
Linuxカーネルもくもく会#6に参加してきました。この会は各自Linuxソースコードの気になる箇所を読み進めたり、Linuxに関する何かをもくもくと進める会です。 cgroup周りのソースコードを読み進めてみているので、読んでみた内容のメモをまとめてみます。linux-3.17-rc3のソースコードを対象にしています。 start_kernel()からcgroup_init_early()を読んでみる まずはLinuxカーネルのエントリポイントであるinit/main.c:start_kernel()から読み進めてみます。 init/main.c: 500 asmlinkage __visible void __init start_kernel(void) 501 { ... 519 cgroup_init_early(); ... cgroup_*()な関数群で最初に呼ばれているのは
http://cecs.wright.edu/~pmateti/Courses/7380/Lectures/Docker/lxc-carata-2014.pdf
Linux Containers Basic Concepts Lucian Carata FRESCO Talklet, 3 Oct 2014 Underlying kernel mechanisms cgroups namespaces seccomp capabilities CRIU manage resources for groups of processes per process resource isolation limit available system calls limit available privileges checkpoint/restore (with kernel support) cgroups - user space view low-level filesystem interface similar to sysfs (/sys) and
Linuxカーネル Docker関連 cgroupsのメモ – Rest Term
前回はLinuxの namespace(名前空間) についてCプログラムやツールを使っていろいろと確認できましたので、今回は cgroups についても調べます。 Linuxカーネル Docker関連 namespaceのメモ namespaceは生成したプロセスに対してリソース体系を割り当てる(隔離空間を作る)のに対して、cgroupsは指定したプロセスのグループに対してリソース制限をかけます。似ているようで全然別の機能ですね。 環境 * CentOS 7.2 (kernel-3.10.0-327.4.5.el7.x86_64) * Ubuntu 14.04 (3.13.0-77-generic) * Docker 1.9.1 cgroups Control Groups provide a mechanism for aggregating/partitioning sets of t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
partners/notfound
cgroup: Implement cgroup v2 thread mode & CPU controller [LWN.net]
Last-minute control-group BPF ABI concerns [LWN.net]
Support memory cgroup hotplug [LWN.net]
blk-throttle: add .high limit [LWN.net]
[Documentation] State of CPU controller in cgroup v2 [LWN.net]