エンジニアの清水です。PFNでは、計算アクセラレータとしてGPUを採用するMN-2と自社開発のMN-Coreを採用するMN-3をKubernetesクラスタとして運用しており、その中でCNI Pluginを内製開発して使っています。このブログでは、内製CNI Pluginの話を中心にこれまでPFNのKubernetesクラスタのネットワーク部分、特に、CNI Pluginの構成とその変遷について紹介し、また最後に今後の展望についても触れます。 目次 なぜCNI Pluginを内製したのか? 内製CNI Pluginの特徴 Kubernetesクラスタのネットワーク構成(第1世代) 運用中に見つかった課題 時間が経過すると割り当て可能なVFが無くなる Podの起動直後にCluster IPを使った通信ができない kube-proxyのリソース使用量が増加し続ける Kubernetesクラスタ
![PFNのKubernetesクラスタのCNI Plugin - Preferred Networks Research & Development](https://cdn-ak-scissors.b.st-hatena.com/image/square/b02e2db89cde2cd27f687c769eb6ce4c46c3d0c6/height=288;version=1;width=512/https%3A%2F%2Ftech.preferred.jp%2Fwp-content%2Fuploads%2F2022%2F10%2F2nd-gen-networking-multus.png)