OOMしたCronJobのメモリ制限を「いい感じ」に増やし、不必要な課金・障害対応を減らす - エムスリーテックブログ

初めまして、2024年3月後半にエムスリーのAI・機械学習チームで10日間インターンに参加させていただいた東（@azuma_alvin）です。 もしタイトルが何かに似ていると感じた方がいれば、只者ではないと思われます。 洗練されたデザインでかっこいいと思ったエムスリーオフィスの受付の写真 この記事では、KubernetesのCronJobでOOM（Out Of Memory）が発生した時に「いい感じ」にメモリ制限を増加させてくれるbroomの開発経緯とその実装についてお話しします。 また、インターン期間で感じたエムスリーという「ギーク集団」の中で開発する楽しさについてもお伝えできればと思います。 2週間でゼロ（nil）から開発したbroomは、OSSとしてGitHubで公開しているのでコントリビュートお待ちしております！ github.com CronJobのOOMとは CronJobのO

[d_hack0928]

このCustom Controllerはメモリ上限変更だけでなくJobの再実行までやるのがとても良い。Jobを開発したい人は失敗時点から再開出来る造りにすることと、処理そのものにフォーカス出来て良さそう。改善の余地も見えており好感

[sh19910711]

"メモリ制限を動的に変更 + 変更されたバッチの再実行によって障害対応を減らす / PodからJob、JobからCronJobへとownerReferencesを辿り / メモリの増やし方については足し算Add（e.g., +20Mi）と掛け算Mul（e.g., ×2）の2種類"

[progrhyme]

面白い発想。GKEのAutopilotやノードの自動プロビジョニングと組合せたら楽できないかな