R&Dのアプリケーション基盤 “Circuit”について / About "Circuit", R&D's application platform◉ 研究開発職 採用情報 募集中のポジションや関連記事など https://media.sansan-engineering.com/ ◉ Sansan Tech Blog Sansanのものづくりを支えるメンバーのテックブログ（R&Dメンバーの連載も多数） https://buildersbox.corp-sansan.com/
4台のラズパイでk8sクラスタを組んだ
ラックについて 今回買ったラックは、なぜかネジを締めるとWIFIが繋がらなくなる事象が発生した。多分金属製だからと思われる。 面白いことに、手をラックの近くに置くとWIFIがつながる。（繋がらない場合もある） すべてのラズパイがWIFI接続というわけではなくmasterのみなのであんまり影響がないが、本事象は完全に想定外だったのでラック選びは要注意。 ラックの組み立て 説明書あったが、ネジの種類のラベルが貼っていなくて全然分からなかった。 ので、公式が動画を出しているのでこちらを参考に組み立てた。 なぜかネジが足りなかったり余ったりしているが、ガタガタしていないので一旦気にしない。 OSをSSDにインストール OSは「Ubuntu Server 22.04.2 LTS(64bit)」を使う。 歯車のところからWIFIやssh、キーボードレイアウトなど設定をよしなにやる。 Mac側の接続
Raspberry Pi で【リアル☆Kubernetes】を作る！！
※注意）Qiitaからの移転で、2021年08月25日に投稿した記事です ※旧タイトル：「モバイル『コンテナ・クラスタ』を作る！」 🌞夏！もほぼ終わりかけてますが、8月の残り数日で、夏休みの自由研究がてら 「コンテナをもっと勉強したい」あるいは「RaspberryPiを使って何か作ってみたい」 そんなニーズはありますかね？ 今回は、その両方を実現する『モバイル・コンテナ・クラスター』のご紹介です。 目的 (やりたいこと) 楽に 持ち運べる『コンテナ・クラスタ』 を作る！ 背景・動機 業務ではコンテナでサービスを組むことが増えているのに、プライベートでは未だにVMばっか触ってる。 そろそろプライベートでも、がっつり「コンテナ・オーケストレーション」していきたい。 せっかくだから、持ち運べるようにして、みんなに自慢したい☆ そんな思いから、作りました。 作ったもの さっそくですが、まずは完成
RustとWASMで開発されKubernetesで実装されたデータストリームシステムFluvioを紹介
Cloud Native Computing Foundation（CNCF）が公開しているYouTubeチャネルから、Kafkaに替わるストリーミングプロセッシングを行うオープンソースソフトウェアFluvioを解説する動画を紹介する。CNCFはクラウドネイティブなシステムを普及するためのマーケティング活動の一環としてクラウドネイティブなソフトウェアを解説する動画を公開しているが、これもそのひとつだ。Fluvioを開発しているのはInfinyOnという企業で、元NGINXのエンジニアが創業したベンチャーだ。Fluvio自体はオープンソースだが、CNCFのサンドボックスプロジェクトという訳でもない。CNCFにはTremorやStrimziというストリーミングのためのソフトウェアがすでにサンドボックスとして採用されているが、そういった枠には捕らわれずに紹介をするという発想だろう。 動画：Int
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る | Wantedly Engineer Blog
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る こんにちは。Matching チームの笠井（@unblee）です。 この記事では、おおよそ1年以上前に私が新卒入社して Infrastructure チームで一番最初に取り組んだ Workflow Engine の導入プロジェクトについての振り返り・供養をしようと思います。 記事内で触れている情報・判断は全て1年以上前の時点の社内外の状況に基づいていることを前提としているため現在の最新の情報とは異なることがあります。この前提を承知した上でお読みいただければ幸いです。 Agenda問題意識技術選定PoC本番環境への導入とその障壁の解決振り返りまとめ問題意識Wantedly では以前から推薦基盤へ力を注いでおり、Wantedly Visit におけるユーザと企業の理想のマ
Kubernetes 1.20から始まるDockerランタイムの非推奨化に備えよう！我々が知っておくべきこと・すべきこと
Kubernetes 1.20から始まるDockerランタイムの非推奨化に備えよう！我々が知っておくべきこと・すべきこと はじめに Kubernetesの次のマイナーバージョン1.20が、2020年12月8日にリリースされました。今回のリリースではGraceful Node Shutdownの追加やkubectl debugのBeta昇格など、運用に嬉しいさまざまな機能のアップデートがあります。その中でも、12月初頭にGitHubや公式Slack、Twitterなどを賑わせたのがDockershimの非推奨化でした。公式のリリースノートには以下のように書かれています。 Docker support in the kubelet is now deprecated and will be removed in a future release. The kubelet uses a modu
KubernetesのDockershim廃止における開発者の対応 - inductor's blog
はじめに 今朝に書いたブログが思ったより反響が大きくて、「Dockerが死んだ」という勘違いをされている方も多かったので追加でエントリーを書きました。 blog.inductor.me 決してそんなことはないので、対応が必要なケースを見ていこうと思います。 はじめに 対応が必要ではないケース Kubernetesを使わない人たち 本番はKubernetesでも、開発にDocker Composeを使っているデベロッパーの開発環境 対応が必要なケース 開発環境でも手元でKubernetesを利用する人たち NVIDIA DockerをKubernetesで使っている人たち Kubernetesワークロードの中で「Docker in Docker」や「Docker APIに依存した処理」を動かしている場合 Dockerの機能を使ってこれまでやっていたことについて 対応が必要ではないケース Ku
Kubernetes 1.20からDockerが非推奨になる理由 - inductor's blog
追記: Kubernetes側での公式のアナウンスが2本出ているのでこちらも合わせてご覧ください。 kubernetes.io kubernetes.io Kubernetesコミュニティを眺めていたら、やたらめったら色んな人達が1.20 RCのリリースノート引っ張り出して「Dockerが非推奨になるからちゃんと対策を検討してね！！！」とアナウンスをしていて、挙げ句SIG Contributexではその対策に追われてバタバタしている自体を観測しました。 CNCF Ambassador Slackでもだいぶ燃え上がっていて、見かねて dev.to に記事を投稿したのでそれをかんたんに日本語にまとめてみようと思います。英語のほうはこちらをご覧ください。 dev.to 追記2. 影響範囲を知りたい場合はまずこちらをお読みください blog.inductor.me 追記2. 影響範囲を知りたい場合
なぜKubernetesを採用するのか 2000人の開発者に提供するサービスで得られた知見と課題
なぜKubernetesを採用するのか 2000人の開発者に提供するサービスで得られた知見と課題：巨大SIerのコンテナ・Kubernetes活用事例（3） NRIのコンテナ・Kubernetes活用事例を紹介する本連載。第3回は開発者のQCD（Quality、Cost、Delivery）を向上させることを目的とした開発支援サービスにKubernetesを適用した事例を紹介する。 Kubernetes採用の背景とメリット 野村総合研究所（以後、NRI）では、ここ数年でKubernetesを利用するプロジェクトが増えてきた。本記事で取り上げる自社サービス「aslead」や、社内のプライベートクラウドに構築した「OpenShift」でもKubernetesを活用している。Amazon Web Services（AWS）が提供する「Amazon EKS（Amazon Elastic Kubern
Kubernetesネットワーク 徹底解説
Kubernetesのネットワークの構築要件に対して、世の中には様々なアプローチがあります。 本書ではTCP/IPは知っているけれど、Kubernetesのネットワークの実現方法は知らない人向けに、メジャーな実現アプローチについてできるだけ噛み砕いてステップバイステップで体系的に説明します。
サイボウズサマーインターン2020 報告 〜 OSSへの貢献を通して学ぶKubernetes基盤開発 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoチームの池添とsatです。 サイボウズは毎年サマーインターンシップを開催しています。 今年は新型コロナウイルス(COVID-19)の影響で一時開催が危ぶまれました。 しかし、この状況で学生の皆さんの就業体験の機会が失われてしまうのもよくないと考え、フルリモートでインターンシップを実施することとしました。 blog.cybozu.io Kubernetes基盤開発コースは8月と9月の2回開催で、1回目の8月3日～14日(9日間)の日程には4人の学生が参加してくれました。 Kubernetes基盤開発コース担当のNecoチームはサイボウズの中でも、もっともOSSを活用しているチームです。 そこでこのコースでは、Necoチームが取り組んでいるKubernetes基盤開発について、OSSへの貢献を通して知ってもらう機会にしました。単に開発をするだけではなく、サイボウズがどういう
Kubernetes Internal #1を開催しました
Kubernetes Internal #1 を開催します！ コンテナをデプロイできる強力なシステムKubernetesやKubernetesを使ったソフトウェア、Cloud Native技術の内部実装についてお互いに共有する会です！… この記事では自分で勉強会を主催するにあたって どんな勉強会をやったのか？勉強会を開催するにあたってどんなことやったのか？実際にやってみてどうだったのか？といったことを書いています。 どんな勉強会をやったの？主にKubernetesに関する設計や実装をコードレベルで共有する勉強会になります。 第一回目ではコードを直接読んでいく要素は少なめだったのですが、導入編として以前このブログで書いた「Kubernetesのコードリーディングをする上で知っておくと良さそうなこと」という記事
おうちで「おうち Kubernetes インターン」を実施しました | CyberAgent Developers Blog
こんにちは。AI事業本部の青山（@amsy810）です。 2020年版「おうちKubernetesインターン」を実施したため、事後レポートをブログにまとめたいと思います。 コロナ禍のため、機材一式を学生とメンター宅に郵送し、フルリモートでの実施となりました。 またそれに合わせて3 Daysだったものを7 Daysに伸ばして、初日と最終日以外は夕会だけをコアタイムとしたフレックス性で実施しています。 メンターは私以外に、徳田、川部、漆田、源波、中西、岩立、長谷川が参加しています。 概要 今回のおうちKubernetesは Raspberry Pi 4 の 8GB モデル 3台 を使ってクラスタを構成しました。 単純な仕様だと、12 core + 24 GB Memory のクラスタです。もはやノートパソコンに近しい性能ですね。 また、今回 Raspberry Pi 4 になってから最低 2.
基礎から分かる！アプリケーション開発者のためのKubernetes入門 / kubernetes-basics-for-application-developers
CloudNative Days Tokyo 2020で発表した資料です。
攻撃しながら考えるKubernetesのセキュリティ / Considering Kubernetes Security While Attacking
本資料は 2020/9/8 の「CloudNative Days Tokyo 2020」の発表資料です。 ■発表動画 https://event.cloudnativedays.jp/cndt2020/talks/26 ■内容 ・コンテナ全般のセキュリティ ・脆弱な設定のKubernetesに対する攻撃 (アプリの脆弱性をきっかけとした悪意のあるPodの作成、権限昇格、などの攻撃の流れ) ・上記に対する対策 ■書籍以外のReference KubeCon NA 2019 CTF： https://securekubernetes.com/ Kubernetes Security for Microservices：https://speakerdeck.com/rung/kubernetes-security-for-microservices/ Threat matrix for Kub
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Takuto Wada on Twitter: "対応が必要ない人: 本番はKubernetesでも開発環境にDocker Composeを使っている人。 対応が必要な人: 開発環境でも手元でKubernetesを利用する人。Kubernetesの中で「Docker in Doc… https://t.co/JcSxyYRpxF"
Takuto Wada on Twitter: "「KubernetesでDocker が非推奨になった」と騒ぎになっているが、なぜそうなのか、正確には何がどうなるかわかりやすく説明している。CRIランタイムをcontainerdに移行すればランタイムとしてのDockerの機能は… https://t.co/CRr1r2bpP7"
Kubernetes on AWS - Amazon EKSとそれを支えるServicesやTools -
