cgroupのv1とv2の切り分け的なところ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
cgroupはv1とv2という2つの実装（と言っていいのか？）があってそれらはkernel/cgroup.cで一つのコードベースにまとまっているのでコード読んでで混乱するなーというところで、誰得なめもを。 特に、4.1とかのカーネルだとv2のコードはまだ正式版となってないけどマージはされていて、DEVELsane_behaviorというオプションを使うことでv2の機能が使えるようになってます（参考： Linux 3.16 から試せる cgroup の単一階層構造 (1) - TenForward）。今はv2がちゃんと入っているのでこのオプションは不要で、cgroupのマウント時にcgroup v2としてマウントするかどうかで切り分けできます。cgroup_mount()のis_v2がそれです。 2083 static struct dentry *cgroup_mount(struct f
博士課程の予備審査にいってきました - 人間とウェブの未来
僕が博士課程で研究していた「Webサーバの高集積マルチテナントアーキテクチャに関する研究」という内容で、僕が通っている京都大学大学院情報学研究科博士課程の予備審査にいってきました。研究室は岡部研究室になります。 予備審査は、僕が所属する大学院の場合、基本的には博士課程の研究で3本以上ジャーナルを通す事を条件に、内容的にも指導教員の許可が受けられれば予備審査へと進むことができます。 博士課程においては、博士課程の入学資格審査の面接で情報学研究科のほぼ教員全員（数十人）の前でプレゼンし、博士課程が半分経過した際に受ける中間審査のプレゼン（これまた同様に教員数十人）に続く、大変厳しい審査のうちの一つです。プレゼン時間は1時間、質疑応答は30分です。また、そこに参加される先生方は、各専門分野でも世界トップクラスの研究者であるため、そのような方々の前で学術研究の発表をするのは、とにかくプレッシャーと
pid cgroupのコードを読む - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinuxカーネルもくもく会 #24 - connpassで書いてます。今日は前に追加されたcgroupsのpid管理のコードを読んでみます。 ファイルはcgroup_pids.cです。Linux 4.7のコードを対象にします。 最初にデータ構造です。pidの場合はpids_cgroup構造体が使われます。この構造体はcgroup_pids.cで定義されています。 43 struct pids_cgroup { 44 struct cgroup_subsys_state css; 45 46 /* 47 * Use 64-bit types so that we can safely represent "max" as 48 * %PIDS_MAX = (%PID_MAX_LIMIT + 1). 49 */ 50 atomic64_t counter; 51 int64_t l
ねえママ, systemd が SEGV したらどうなるの? - Gentoo metalog
Linux 4.5 から cgroup2 というやつが入りました. こいつはいままでの cgroup とは違って, cgroup の tree がシステム全体で唯1つになり, 様々なファイルの名前も変わっています. そうすると, いろいろと cgroup を使っている systemd にも変更が必要…というわけでいまの systemd の git HEAD では様々開発されているような感じです. とは言ってもせっかく Linux 4.5 なのだから systemd-229 でも cgroup2 使いたいというわけでがんばってみたら死んだという話. 基本的に必要になるのは次の patch github.com もともと cgroup2 の挙動は "__DEVEL__sane_behavior" の FS mount option で有効になっていたので, それを切り替えていく patch で
第9回 コンテナ型仮想化の情報交換会＠福岡に参加してお話させて頂いたのでメモ - ようへいの日々精進XP
ども、精進不足のかっぱです。 tl;dr 大雪の為に延期になっていた「コンテナ型仮想化の情報交換会＠福岡」が満を持して開催されました。 ct-study.connpass.com まずは、主催、運営された @ten_forward さん、会場を提供して下さった GMO ペパボの皆さんにお礼を申し上げたいと思います。また、登壇された皆さん、参加された皆さん、大変お疲れ様でした。 ということで、著名な登壇者の方々の合間を縫って Amazon ECS と ECR のお話をさせて頂いたので、他の登壇者の方の資料と聴講メモ、自分の発表の言い訳等を少し書いてみたいと思います。 発表 プログラム 13:50 - 14:00 オープニング・勉強会の紹介 14:00 - 14:40 Linux コンテナの基礎 (仮) @ten_forward 14:40 - 14:50 alpineの基礎についてなにか t
cgroup なのか cgroups なのか - TenForward
割とどーでもいい話（でも気になってた人多いはずw） 以前、第4回のコンテナ勉強会でも質問が出たのですが、cgroup/cgroups という機能の正式な名称は cgroup なのか cgroups なのか、というのはよくわかりませんでした。 私は、英語って単数・複数をきちんと使い分けるし、cgroup は複数のサブシステム・コントローラが存在するので、海外の人は "cgroups" と複数形で使うんだろうなあと思ってました。機能自体を指しているのか、コントローラ群を含めて指しているのかって、曖昧な文脈も多いですし。 しかし、この論争にもついにピリオドが打たれました。カーネル付属文書の cgroup-v2.txt をご覧ください。 "cgroup" stands for "control group" and is never capitalized. The singular form i
4.5 カーネルで stable となった cgroup の単一階層構造 cgroup v2 の io コントローラ - TenForward
Control Group v2 以前も少し紹介していましたし、連載でも少し触れましたが、今広く (?) 使われている cgroup は色々問題があって、単一階層構造の cgroup が開発されていました。この辺りは Linux 3.16 から試せる cgroup の単一階層構造 (1) - TenForwardの日記 Linux 3.16 から試せる cgroup の単一階層構造 (2) - TenForwardの日記 で紹介しました。 以前は開発中の機能だったため、マウントするときに "__DEVEL__sane_behavior" などというふざけたオプションが必要でした。(^^) この後も順調に (?) 開発はすすみ、4.5 カーネルのリリースでついにこの機能が stable となったようで、"__DEVEL__" というプレフィックスも不要になりましたし、正式な機能で「まともなふ
コマンド実行時のCPUやIOリソースを簡単に制御するツールrconを作った - 人間とウェブの未来
CPUやメモリ、IOといったリソースの制限下でとあるコマンドを実行させたい場合に、cgroup上に何かgroupを作ったりしてからcgexecを実行して、実行後はそのgroupを消す、といったような一手間かかる方法がほとんどでした。 実行後のgroupも綺麗にしたい、といった所まで考えるとなかなか手間がかかっていたので、それらを全てワンラインでできるrconというワンバイナリで動くツールを作りました。 github.com 例えば、負荷サーバでの調査ツールを流す際に、CPUとかIOとかを制限しつつドロドロ実行したい場合等に便利です。Linuxのcgroup対応した環境でのみ動きます。 使い方 ほぼREADME通りなのですが、オプションは代替以下のようになっています。 --memは変なので--memoryに変更しました!! ./rcon --help Usage: rcon [options
cgroupsを全く知らないところから、正味一時間ちょいでソースから雰囲気つかむ - Qiita
cgroupについてのドキュメントについて(+雑談) Wikipediaに載っており、Documentation/cgroups の下にもいっぱいドキュメントがあるのでそれを見れば良いのだろうが、やはりソース読んでみてなるほど感を得てみたいなと思い、先日秋葉原でやったLinuxもくもく会に出席しました。 自分は飯食っていなかったので21:30くらいで断念しました(食ってくればよかった)が、みんなでもくもくとソース読むのはとても集中できますし、雑談も自然と低レイヤなネタになりがちでそれが楽しく、愉悦です。 それはおいておいて さすがに、cgroupsを実現するための全てのコード読むのは途方もない(多岐にわたる)し、現実的でありません。 ふと見ると、cgroupsにはプロセスIDの割り当てにも絡んでいるだろうことがわかります。 そこで、まずはプロセスID割り当て箇所に絞り、雰囲気を掴んでみるこ
mrubyでファイルシステムを隔離してリソースを分離しIPも割り当てられるmruby-virtualingを書いた - 人間とウェブの未来
Kazuho's Weblog: jailing - chroot jailを構築・運用するためのスクリプトを書いた virtuald + ipalias + cgroup + これで快適に「そこそこ隔離したサービス環境」作っていきましょー / “Kazuho's Weblog: jailing - chroot jailを構築・運用するためのス…” http://t.co/aweVwa9kDX— MATSUMOTO, Ryosuke (@matsumotory) 2015, 5月 14 まずは昨日サクッとこういうのを作られたkazuhoさんのjailingを見ていて、こういうのやっぱり面白いなー素晴らしいなーと思いつつ、そういえば僕もmrubyでこういうの書くとか宣言していたなーというの思い出しました。 mruby-cgroup、mruby-capability、mruby-criuがで
docker の CPU 隔離性 - TenForward
某所で話題になってたので。3.17.1 kernel で試してます (Plamo Linux 5.2) docker でも何でもなくて単に Linux kernel の cgroup がちゃんと動いてるかって話なんですが。:-) (2014-10-29 追記) なんか docker ってキーワード入ってるからかわかりませんが、多数アクセスいただいていますね。CFS Throttle の機能自体はもう 3 年近く前に試してちゃんと動いていたテストそのままです。dockerを使って試してるか、直接 cgroup と普通のプロセスで試してるかの違い。gihyo.jp での連載でもそのまま載ってます :-) Linux 3.2 の CFS bandwidth control (2) - TenForwardの日記 第4回 Linuxカーネルのコンテナ機能［3］ ─cgroupとは？（その2）：LX
cgroup の devices サブシステムのどうでも良いトリヴィア - TenForward
lxc-checkpoint が動かないのでデバッグしたり、パッチ書いたり、リジェクトされたりしてる時に気づいたどうでも良い知識。 cgroup の devices サブシステムは デバイスタイプ デバイスノード番号 アクセス権 をスペース区切りした文字列を devices.allow, devices.deny に書き込みます。 # cat devices.list # echo 'c 1:7 rwm' > devices.allow # cat devices.list c 1:7 rwmこれは普通にやった場合。 この書き込む文字列の後に何か文字列があっても無視されます。 # cat devices.list # echo 'c 1:7 rwm # This is Test.' > devices.allow # cat devices.list c 1:7 rwmLXCの設定ファイル
cgroupsとメモリ資源と関係を勉強する前に、Linuxの仮想記憶周りを読む... - Qiita
あらまし 前回、cgroupsについて軽くではあるが書いてみました。 上記の文章の最後に「次はcgroupsとメモリ管理というネタで行ってみたい」と書きました。 もちろんすぐにcgroupsと仮想記憶の関係がわかればよいのであるが、何ぶんLinuxの仮想記憶は読むのも初めてです。よって、Linuxの仮想記憶の概要をつかむためにまずはソースを読んでみます。 流れがわかりにくい箇所もあります。が、ソースを読んで迷った過程をあえて記録に残したいと考えたからです。ご了解ください。 ということでfork() 仮想記憶の機能を理解するには、経験則上、とっかかりが必要です。 そのとっかかりの一つがfork()だと思っています。 人によっては、page fault(例外ハンドラ)から入ったり、mmap()から入ったりすることもあろうが、前回fork()がらみのところを読んだので、今回もここから行きます。
第5回 Linuxカーネルのコンテナ機能［4］ ─cgroupとは？（その3） | gihyo.jp
サブシステム紹介（続き） 今回は前回紹介できなかったサブシステムを紹介したあと、cgroup開発の現状に少し触れたいと思います。 Memoryサブシステム コンテナに対してメモリの制限を行いたい場合に使用するのがmemoryサブシステムです。cgroupに対して制限値を設定したり、cgroupのメモリ使用量の監視をしたりできます。 まずは制限を設定してみましょう。制限を設定するには以下の2つのファイルに値を書き込みます。 memory.limit_in_bytes メモリ消費量の制限値の設定と表示（バイト） memory.memsw.limit_in_bytes メモリ+スワップメモリの消費量の制限値の設定と表示（バイト） スワップの消費量も含めた制限を設定したい場合は後者を、スワップの消費量はカウントしない場合は前者を使用します。制限値の設定にはk、K、m、M、g、Gといった単位の文字が
第4回 Linuxカーネルのコンテナ機能［3］ ─cgroupとは？（その2） | gihyo.jp
表1にある「実装されたバージョン」はカーネルに実装されたバージョンで、ディストリビューションによってはこれよりも古いバージョンのカーネルにバックポートされている場合もあります。また、実装された時点では階層構造がサポートされておらず、後のバージョンで実装されたものもあります。 お使いのシステムで使用可能なサブシステムは、カーネルのバージョンだけでなく、カーネルをどのような設定で作成したかによっても違います。使用可能なサブシステムは以下のように/proc/cgroupsで確認できます。 $ cat /proc/cgroups #subsys_name hierarchy num_cgroups enabled cpuset 0 1 1 cpu 0 1 1 cpuacct 0 1 1 memory 0 1 1 devices 0 1 1 freezer 0 1 1 blkio 0 1 1 per
第3回 Linuxカーネルのコンテナ機能［2］ ─cgroupとは？（その1） | gihyo.jp
前回は、コンテナの仕組みとLinuxカーネルに実装されているコンテナ関連機能のひとつである名前空間について説明しました。今回は名前空間と並んでコンテナの実現に重要な役割を担っているcgroupについて説明していきます。 cgroupは2006年9月にGoogleのエンジニアによって最初のパッチが投稿され、2.6.24カーネルで最初のマージがなされた機能です。2010年にリリースされたRed Hat Enterprise Linux 6.0にこの機能が搭載され、専用のマニュアルが存在したことから、使ったことのある方や、名前をご存知の方も多いのではないでしょうか。 cgroupは"Control Group"の略です。プロセスをグループ化して、そのグループ内に存在するプロセスに対して共通の管理を行うために使います。たとえば、ホストOSが持つCPUやメモリなどのリソースに対して、グループごとに制
Linux 3.14 で net_cls cgroup に追加された netfilter 対応 - TenForward
久々に cgroup 大物新機能に沸いてます! (久々じゃないかw) kernelnewbies の 3.14 ページ に書いてない気がするので危うく見逃す所でした．早速試してみました (カーネル付属文書なぞっただけ :p) 対応するコミットはこちら． netfilter: x_tables: lightweight process control group matching まずは準備をします．追加されたばかりの機能なので準備には時間かかりますよ． :-) まずは NETFILTER_XT_MATCH_CGROUP を "y" か "m" にして 3.14 カーネルを作製します iptables も最新のリリース版 1.4.21 では cgroup 対応機能が実装されていないので git clone して，"next-3.14" ブランチで make します (master でも OK
Linuxメモリ管理の最先端を探る（2/2） － ＠IT
小崎 資広 2008/5/22 VM（仮想メモリ）の改善 昔からのLinuxユーザーの方は、カーネル2.4の時代に、一時期VM（仮想メモリ）が不安定で悩まされていたことを覚えている方もいるかもしれません。 現在のVMは、Andrea Arcangeliの作成した割とシンプルな設計なVMに、Rik van Rielの作成したページフレームからページテーブルエントリを逆引きするためのreverse mappingという機能を追加したものが基本となっています。 これは、コードの複雑さと性能の間でバランスの取れた、なかなか評判のいいものだったのですが、カーネル2.6の登場から約5年がたち、だんだんアラが目立つようになってきました。 というのも、当時は一般的なパソコンのメモリ量は256M～512Mbytes程度で、サーバでも4Gbytesの壁を超えるようなマシンはまれでした。しかし、DRAMの急激な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cgroupとLinux Capabilityの活用 / rcon and capcon internals #lxcjp
Linux Kernel Documentation :: scheduler : sched-design-CFS.txt