全プロセスが一秒止まる不具合、原因はLinuxカーネルにあり？

はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でエンジニアをしています、坂本です。私が所属しているDrivingSystemチームでは、組み込みLinuxをベースに、自動運転システムと、自動運転モデル学習用データ収集システムを開発しています。 組み込みLinuxの開発を行っていると、カーネルの挙動、周辺デバイスとの組み合わせ等によって、思いがけない不具合に遭遇することが少なくありません。この記事では、実際にシステム開発中に遭遇した再現が難しく、原因の切り分けに時間を要した不具合について紹介していきます。同じように組込みLinuxや自動運転ソフトウェアの開発に携わっている方の参考になれば幸いです。 なお、本記事は「全プロセスが一秒止まる不具合解析」の概要編です。調査で得られた技術的な詳細やカーネル内部のメカニズムについては、別途記事で掘り下げて紹介する予定です。 チューリ

[otchy210]

自動運転するのにリアルタイム OS (あるいはそれに準ずる挙動をさせた Linux) じゃないの怖く無い!?…と思ったが、データ収集の話だったのでまあ。社内でそっち側やってる人の知見とかはないのかな？

[dirtjapan]

DMA領域がswapに食われてたのか。これは再現環境作って何十時間もかけて目星つけてデバッグ情報追加してを繰り返すのがホント偉いな。こういう調査できる人は貴重。

[hfdkexia]

linuxは詳しくないし、この記事からメモリ管理どうやってるか読み取れないけど、組み込みならスワップ禁止、メモリは機能ごとに専用領域を割り当てるとかしないと、OSにすべてお任せは厳しい。

[absalom]

タイトルはキャッチーだが、こういうのは結局使い方が悪い、ということで処理される。

[xsde]

自動車の制御プログラムって Dynamic allocation / GCとか使っちゃいけなくて、すべてアドレス固定で作られているものだと思っていた。。(OOMKillとかあっちゃいけないし)

[dltlt]

Automotive Grade Linux で？｜51日以上起動してると変になる 787 の不具合を思い出す。https://www.theregister.com/2020/04/02/boeing_787_power_cycle_51_days_stale_data/

[kazuau]

“Linux上で動作し、C++およびPythonで開発された複数のプロセスで構成” そのアーキテクチャで大丈夫なのだろうか。センサーの入力は定期的に一定の実時間で処理されるように保証されてないと怖い気がする

[JULY]

組み込みで swap は off にしないのかなぁ。IaaS を扱うようになって、Linux の swap が off が当たり前（メモリが足りなくなるなら十分なサイズにスケールアップした方が良い）になっていてピンとこない。

[rryu]

アプリケーションは60GB使い切ってDMA領域にも手を出すが、Liderのデバイスも激しく要DMAのメモリを使うので取り合いになるが60GBがデカすぎてスワップに時間がかかるという感じか。最新のスラッシング現象という感じ。

[Fluss_kawa]

20時間に1回はかなり高頻度では？GC組んだことある人ならカーネルのGC周りではとすぐ気づきそうなのでコンパイラの設計実装やOSの実装は1回くらい経験しておくといい気がする。

[sonots]

データ収集システムだけじゃなくて車両制御もリアルタイムOSじゃなくて組み込みLinuxなのかしら？ → TeslaもLinuxらしい https://xtech.nikkei.com/atcl/nxt/mag/at/18/00130/00004/

[zyzy]

ひえー……これは道のりが長い。良く見つけたな。Pythonも使ってるとなるとメモリ食いそう／睡眠も記憶の整頓な可能性あるので、スワップページ回収が車の睡眠というのはあながち間違ってないかもね

[ockeghem]

『カーネルのコードを読んだり自分でビルドしたのは初めてでしたが、同僚に助けられながら取り組み、多くを学ぶことができました。技術者として大きな糧になったと感じています』

[dekaino]

ジャイアントロックだろうなと思ったらそうだった。メモリの確保のやり方が雑なのかな? malloc周りを用途に合わせて最適化するのがいいのかなあ。

[Nan_Homewood]

勉強になった

[igrep]

すごい

[pixmap]

そりゃ20時間もぶっ続けで運転してたら１秒くらい眠くなるだろう、やっぱり人間より優秀では、という話では全然なかった。

[daishi_n]

まあガンガレとしか言えんけど「組み込みならもうちょっとカーネルのメモリ管理に詳しい人にジョインしてもらおう」かな

[Y_Mokko]

こんな調子で自動運転本当にできるの？？

[kazkun]

まあ60GBのほとんどを使うようなアホなアプリが悪いと思うが、よく原因までたどり着けたなという感じ。昔あったSSDのプチフリみたいな感じだね。

[hiromo2]

色々心配

[tmdtky]

デバッグのアプローチ方法含め勉強になる

[atsushieno]

kswapdがstop the worldの問題を引き起こしていることと、このシステムがswapを使っているかどうかは全然関係ない。RAMが枯渇したらDMA用メモリもnormalで利用し、DMA上の参照から60GBのフルスキャンが走ればRAMでも重いはず。

[moomininnara]

0でなく、1にして、dmaを全確保を試したい。

[otation]

ブコメ含めて勉強になる

[Domino-R]

何が良くないって、冒頭で自社の自動運転プログラムの宣伝？をしてるところ。おかげで落ち着きのない連中が、この問題が自動運転プログラムで起こったことだと思ってる。

[togusa5]

カーネルのせいじゃなくて、おま環では？

[alpinix]

ラリアットしながらホーガンが立ち止まったのかと思った。古舘の実況も。

[lqgq]

タイトルだけ見て森博嗣の『すべてがFになる』を想起したよね。

[fujihiro0]

おもしろき。 Tesla も Linux なんだよね。

[FreeCatWork]

Linuxカーネルさん、たまには休憩も必要にゃ？ボクと一緒にお昼寝しようにゃ！

[agricola]

スワップしたら負けという鉄則をどうして人は無視するのだろうか。

[deep_one]

一秒か…と思ったら車のシステムで、もしそれが一秒止まったら人が死ぬな。／linuxなのはデータ収集用だけなのか。

[rjj]

カーネル全体が固まるの、メモリ関連かServer Management Interruptか、という個人的印象。なぜZone Normalを使い切るんだろ？

[everybodyelse]

メモリの挙動が気になる。メトリクスはどんな挙動をしていたんだろうか？

[kkobayashi]

カーネルの不具合かと思ったらページングの話か。Linuxは詳しくないけどパフォーマンスデータを取ってたらもっと早く分かったのではという気がする

[takanq]

一定間隔で応答必須っぽいシステムなのにRTOSじゃないの?と驚いてるが、発生頻度が高めの不具合で助かったね。頻度が低ければ発見不可能だった

[hogetax]

基本システムで数秒間の停止（というかresource占有？）の完全回避をコミットしていないししない以上、独自のこういった調査や再設計は必須だよね。いや、なんかそういうのありそうな気がしてきた。あとで調べる

[napsucks]

CPUが完全に止まるということでドライバや割り込み系を疑うまではまあわかるがまさかswap周りとは。