こんにちは。Neco チームの杉浦、寺嶋、阪上です。 今年も Neco チームでサマーインターンシップ（Kubernetes 基盤開発コース）を開催しました。 インターンには3名の方に参加してもらい、2チームに分かれて開発を行いました。 この記事では、インターンの様子と、各チームで取り組んだタスクについて紹介します。 日程 インターンは 8/19（月）から 8/30（金）までの2週間、フルリモートで開催しました。 初日から2日目の午前まででオリエンテーションや CNI（Container Network Internface）の勉強会などを開催しました。 2日目の午後からはそれぞれのチームでタスクに取り組み、最終日には発表スライドを作って成果発表会を開きました。 また、インターン期間中、コースを受け持つメンター以外の様々な社員と交流できる機会を作りました。 Neco インフラ班（Kuber

はじめに Cloud Platform部のpddgです。2024年もサマーインターンシップを開催し、プラットフォーム（自社基盤）コースとして2名の方を受け入れました。 昨年の様子は以下からご覧いただけます。興味があれば是非ご覧下さい。 blog.cybozu.io 今回は受け入れたお二方のうち藤本陽人さん（static-fuji）に担当していただいた検証の中で発見したやや直感的でない挙動について、藤本さんによる検証結果を社員がまとめたものになります。 この記事内での検証のほとんどはインターン生である藤本さんによって実施されたものですが、一部社員がインターンシップ完了後にこの記事の執筆のために生成した図等も含まれます。 また、もう一人のインターン生の方にはRustでロードバランサを書くという課題に挑戦していただきました。こちらもインターン生の方に大活躍していただいています。是非ご覧下さい。

こんにちは。クラウド基盤本部の野島です。 今年のインターンシップでは、プラットフォーム(自社基盤)コースとして2名の方を受け入れ、それぞれ異なる課題をやってもらいました。 そのうちの一つは Pingora に関する課題で、覚道さんに取り組んでいただきました。（もう一つの課題は nginx のキャッシュの性能に関するもので、これについては昨日の記事をご参照ください） Pingora は Cloudflare が開発したロードバランサのためのフレームワークであり、Rust を使って好きなロジックを組み込んだロードバランサを書くことができます。 今回のインターンでは Pingora を使って TLS のクライアント証明書を使った認証プロキシを作ってもらいました。 そこで、この開発の中で得られた Pingora や OpenSSL に関する知見を共有しようと思います。 この記事は覚道さんのインター

こんにちは。クラウド基盤本部、PDX（Platform Developer eXperience）所属のびきニキです。 突然ですがみなさん、以下の記事は読まれましたか？ developer.hatenastaff.com Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第11回のゲストは、サイボウズ株式会社でソフトウェアエンジニアとして活躍しているid:itchynyさんこと、濱田健さんです。 こちらのブログは「弊社の良さ」と「はてなさんの良さ」が詰め込まれていて非常に素敵なブログだなと思っており、弊社社員の中でもたくさん

@ymmt2005 こと山本泰宇です。短い夏休みから帰ってきました。 今回は cybozu.com のデータセンターで運用を開始した自動障害回復システム「月読」を紹介します。障害にも色々ありますが、今回紹介するのは仮想マシンのホストサーバーの物理障害を検出して、稼働していた仮想マシンを予備のホストに移動する仕組みです。 月読は、データセンター全域に分散したエージェントが協調動作するピア・ツー・ピア (P2P)システムとして作られています。以下分散システムの話題が多数でてきますが、とても難解というわけではないので、分散システムの入門記事としてお楽しみください。 障害にどう対処するか 障害対応の自動化 設計のポイント エージェント間通信 障害の検出と回復 その他の機能 まとめ 障害にどう対処するか 物理障害対策の基本は二重化(多重化)です。アプリケーションサーバーのようにデータを持たないサーバ

cybozu.com Cloud Platform 部の新井です。 Cloud Platform 部では現在、旧クラウド基盤上で動作している製品を、Kubernetes ベースの新基盤に移行させるためのコンポーネントを開発・運用しています。 今年 2023 年、Cloud Platform 部ではプラットフォームコースという新しいコースで、製品の新基盤移行に関われるインターンを開催し、平地さんに参加いただきました。 そしてインターンの中では、Envoy を用いた TLS のクライアント認証に関する技術検証を行なっていただきました。 ただし、単純なクライアント認証ではなく、 認証局が複数個あり、さらに動的に増減する コネクションごとに、クライアント証明書の検証に利用する認証局が異なる という要件を満たすような実装を行っていただきました。 本記事では、インターンの内容とその成果をご紹介します。

この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 stage) DAY 11の記事です。 こんにちは、CloudPlatformの三村です。 サイボウズでは、Kubernetesを用いた新たなインフラ基盤「Neco」の開発・運用をしています。 現在我々は、Kuberneteノードで使用しているサーバーの再起動の仕組みの改善に取り組んでいます。サーバー再起動の仕組みに関してはCybozu Inside Outの以下の記事で紹介していますので、ぜひご覧ください。 blog.cybozu.io この記事では、上記の再起動の仕組みを運用する上で出てきた課題と改善の取り組みについて紹介します。 Necoの再起動の仕組み Necoでは、オンプレミスでKubernetesクラスタを運用しているため、ファームウェアの更新やセキュリティ対応などでクラスタの全てのサーバーを

こんにちは！クラウド基盤本部、PDX（Platform Developer eXperience）所属の@BkNkbotです。 今日から最終日の8/20(火)まで、CYBOZU SUMMER BLOG FES '24でクラウド基盤本部Stageが始まり、毎日クラウド基盤本部のメンバーが記事を執筆します。 ……というわけで、最初の3日間は私から「インタビュー記事」をお届けします。 協力していただいたメンバー・その方のチーム紹介を兼ねているので、この記事を皮切りにして今のクラウド基盤本部を知り、今後公開される記事を少しでも楽しく読んでもらえると嬉しいです！ ※ この記事は、CYBOZU SUMMER BLOG FES '24（クラウド基盤本部Stage） DAY1の記事です。 聞いてみたこと 所属チームや普段やっている仕事について、（自己紹介を踏まえて）ざっくり教えてください どういった経緯で

この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 Stage) DAY 17の記事です。 こんにちは。クラウド基盤本部 Cloud Platform 部で Kubernetes 基盤（Neco）のネットワークを担当している寺嶋です。 Neco の Kubernetes クラスタはネットワークに Cilium を採用しています。 Neco の他のブログは以下を参照してください。 blog.cybozu.io Cilium は 2023 年 10 月に CNCF Graduated Project となった成熟したプロジェクトです。 一方で、大規模な環境で運用する際には性能問題や不具合に遭遇してしまうことがあります。 私たちはそのような Cilium に関連して発生する問題に対して、ツール開発や upstream への貢献などの様々な方法で対処しています。

この記事は、CYBOZU SUMMER BLOG FES '24（クラウド基盤本部 Stage）DAY 16 の記事です。 こんにちは、Cloud Platformチームの竹村です。 私たちのチームでは、Necoと呼ばれるKubernetes基盤の開発や運用をしています。 このブログ記事では、大量の通信を行うアプリケーションをKubernetes上で運用する際に発生したネットワーク通信経路の障害に関してお話しします。 障害の概要 Kubernetes基盤を利用するチームから、クラスタ内のDNSサーバで性能問題が発生しているとの相談を受け、調査を開始しました。具体的には以下のような事象が起きていました。 Pod内のアプリケーションから一秒間に数百リクエストの単位でクラスタ内のserviceの名前解決を行うと、no such hostやi/o timeoutといったエラーが頻繁に発生する 障害

この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤 Stage) DAY13の記事です。 サイボウズでは現在DevOpsを推進しています。この大きな変化にあわせて、クラウドプラットフォームの利用者を支援する「PDXチーム」と、クラウドプラットフォームの品質をマネジメントする「PQMチーム」を立ち上げました。本記事ではチーム立ち上げの経緯とチームのコンセプトや業務内容を紹介したいと思います。 新プラットフォームの登場 2018年から、次世代を見据えたクラウドプラットフォーム「Neco」の開発が行われてきました。 プラットフォームとしては2021年に完成し、現在は各種製品の開発チームが、旧プラットフォームから新プラットフォームへと移行作業を進めています。 新プラットフォームに乗り換えるにあたり、開発・運用スタイルも大きく変わることになりました。 新プラットフォーム

この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤 Stage) DAY 10 の記事です。 こんにちは。クラウド基盤本部の野島です。Go は goroutine やチャネルなどの仕組みが備わっており、簡単にマルチスレッドなプログラムを書くことができる言語だと言われています。しかし、マルチスレッドプログラミングには独特の罠があり、何も知らない人が雰囲気でコードを書くとわかりにくいバグを仕込んでしまうリスクが非常に高いです。 この記事では、マルチスレッドプログラミングに詳しくない人に向けて、そのような罠を避けるための方法を紹介します。この記事は Go の基本的な使い方を知っていることを前提としています。 這い寄るデータ競合の恐怖 まずは以下のようなプログラムを考えてみましょう。これは複雑な計算を行って結果を返すような HTTP サーバーのコードです。 // 複雑