エンジニアの清水です。PFNでは、計算アクセラレータとしてGPUを採用するMN-2と自社開発のMN-Coreを採用するMN-3をKubernetesクラスタとして運用しており、その中でCNI Pluginを内製開発して使っています。このブログでは、内製CNI Pluginの話を中心にこれまでPFNのKubernetesクラスタのネットワーク部分、特に、CNI Pluginの構成とその変遷について紹介し、また最後に今後の展望についても触れます。 目次 なぜCNI Pluginを内製したのか? 内製CNI Pluginの特徴 Kubernetesクラスタのネットワーク構成(第1世代) 運用中に見つかった課題 時間が経過すると割り当て可能なVFが無くなる Podの起動直後にCluster IPを使った通信ができない kube-proxyのリソース使用量が増加し続ける Kubernetesクラスタ