こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ
KillerCodaというサイトがあるのですが、こちらは無料でKubernetesを使えそうだったので色々試してみます！ なんとCKAやCKADの練習にもなる！というのが魅力的に感じました✨ KillerCodaの概要 ユーザーが既存のシナリオから学び、クリエイターとしてはあらゆるツールや技術を教えるためのシナリオを提供できることが特徴のサイトです。単に無料で遊べるというよりは、シナリオを作る・シェアする・学ぶというところがメインのようです。 それは無料/有料ユーザーの違いにも表れています。Nodeのスペックではなく、シナリオに関連する要素が課金対象となるようです。 Free User シナリオ使用数は無限 パブリックシナリオは3つまで作成可能 PLUS Member（有料メンバー） シナリオを4時間まで使用可能 同時に３シナリオを開くことができる Exam Remote Desktopを
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
2024/06/05に行われた、OCHaCafe Season8 #5 - Kubernetesで作るIaaS基盤で用いた資料です。 commpass: https://ochacafe.connpass.com/event/316645/
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11-bullseye AS developer ENV PYTHONUNBUFFERED=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ bash=5.1-2+deb11u1 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -r requirements.txt COPY . . # ビルド用ス
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
はじめに 半月ほど前に、ようやく自分の VPS 環境で動いているものすべてを kubernetes クラスタに移行しました。とても満足感が高くやって良かったと思っています。 ウェブサーバ、メールサーバ、Nostr のリレーサーバや Nostr/Bluesky/Twitter で動かしている各種 bot もすべて kubernetes です。 昨日は knative を導入したので、Go や Rust や Ruby や Python や、いろんな言語のクラウドネイティブアプリを簡単に実行できる様にしました。 knative 便利 残念ながら knative は helm パッケージとして提供されていません。ArtifactHub でそれっぽい物が公開されていますが、ほぼ手作業と変わりません。 おおよそ以下の手順でインストールできます。knative ではネットワークレイヤとして以下の3つが用
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 モンストサーバチームでは、モンスターストライクとは別に、モンスターストライク スタジアムというスマートフォンのアプリゲームのサーバ開発・運用を行っています。 モンスターストライク スタジアムは、モンスターストライクとプレイスタイルは同じながら、4vs4の最大8人まで同時対戦や練習モードなどを備えたアプリになっており、モンストのeスポーツ大会「モンストグランプリ」を開催する際にも利用されています。 開発体制の現状 モンスターストライク スタジアムは、初期の段階でモンスターストライクのコードから分岐する形で開発されているため、アップストリームの変更を順次取り込んでいくという仕組みで運用されています。そのため、サーバコードなどは別にあり、適宜新機能を取り込んでいきアップストリームと合わせていくという開発・運用フロ
Kubernetes Pod の IP アドレスが枯渇しかけている場合に役立つ実証済みの解決策を紹介 | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 4 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Kubernetes の大きな強みの 1 つは、Pod ごとに固有のネットワーク アドレスがあることです。これにより、Pod が VM のように機能するため、デベロッパーはポートの競合などの煩わしい問題を気にする必要がありません。Kubernetes のその特性のおかげで、デベロッパーやオペレーターは作業を簡略化できます。また、設計機能の 1 つとして高い信頼性を獲得しているため、コンテナ オーケストレーターとしての人気が非常に高くなっています。Google Kubernetes Engine（GKE）は、VPC 内
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！/ cdk8s-argoworkflow is great!
「 JAWS-UG CDK支部 #14」での登壇資料です。 イベントURL： https://jawsug-cdk.connpass.com/event/317935/
Kubernetes Novice Tokyo #32 で登壇したセッションの資料です。 https://k8s-novice-jp.connpass.com/event/317561/ 配信URL: https://www.youtube.com/live/sRLG9ufaZ4M
DockertestとLocalStackを使って 外部サービスに依存した多要素認証の 動作確認・テストをした話 / A story about using Dockertest and LocalStack to check and test the operation of multi-factor authentication that depends on external services
2024/06/08： Go Conference 2024 https://gocon.jp/2024/ DockertestとLocalStackを使って 外部サービスに依存した多要素認証の 動作確認・テストをした話 西田 智朗 ソフトウェアエンジニア
Project Legion
Overview Over the years, Azure Functions has heard a growing number of customers highlighting the need for: improved performance, virtual network injection for a Consumption SKU, scale to zero and burst scale to 1,000's of instances. Similarly, in late 2021, the newly launched Azure Container Apps team was looking for an architecture with improved networking capabilities and performance in anticip
概要 https://github.com/kelseyhightower/kubernetes-the-hard-way 2024/4/6に約3年ぶりのアップデートがあった。 以前はGCP環境が前提の手順となっていたが、そのアップデートでクラウドプロバイダ問わずの手順に変わっていたのでAWS環境で実践してみた。 なおOSはDebian 12 (bookworm)が前提となっていたが、わずかでも独自性を出すべくAmazon Linux 2023を使用している。 結果 手順が十分以上に整備されていることもあり、完走するだけならほぼコマンドをコピペするだけで事足りた。 そのため過程について記述することは特段なかったが、備忘のため2点だけ注意点を書き残す。 ①configs/encryption-config.yamlが存在しない 2024/6/6時点ではconfigs/encryption-c
Setting up Pod Level Cost Allocation for AWS EKS
As cloud adoption surges, effective cost management is paramount for Application teams. Many modern products and applications are developed on the cloud agnostic Kubernetes infrastructure. While AWS Elastic Kubernetes Service (EKS) offers powerful orchestration capabilities, dissecting costs at a granular pod level can be very challenging. Without added tools, it was/is nearly impossible to get it
kube-proxy Service へのトラフィックをプロキシするコンポーネントのデフォルト実装 e.g.) Cluster IP への通信を Pod IP にリダイレクトする EndpointSlice, Service, Node などのオブジェクトの変更を検知して Service を介したトラフィックのルーティングを可能にする Container Network Interface (CNI) vs kube-proxy CNI が Pod 間で通信できるように Pod IP の払い出しやルーティングをセットアップする Pod は一時的なものかつ Pod IP は再利用されるので、Pod IP に信頼性はない Pod IP を直接指定して通信するのは現実的ではない Pod IP を抽象化したサービス検出の仕組みの一端を担うのが kube-proxy Kubernetes におけるサ
![[Kubernetes 1.30] kube-proxy の nftables モード](https://cdn-ak-scissors.b.st-hatena.com/image/square/a59df8c7a7a614c89dc7a25464e38cfbd1b523f4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--uU5TnzF_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BKubernetes%2525201.30%25255D%252520kube-proxy%252520%2525E3%252581%2525AE%252520nftables%252520%2525E3%252583%2525A2%2525E3%252583%2525BC%2525E3%252583%252589%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ATsubasa%252520Nagasawa%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Q5NjQ3ZDFhMDguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
EKS でノードグループを追加して、既存のノードグループから pod を drain して移す定番作業。 この作業自体は問題なかったのですが、よくよく見てみると新しく追加したノードグループのステータスが「DEGRADED」と見慣れないものになっていました。 今回は、この原因と解決方法を紹介します。 Contents エラーの内容原因の特定対処法まとめエラーの内容 DEGRADED となる原因は色々とあると思いますが、AWS コンソール上の EKS 画面でノードグループを見てみると、「ヘルスの問題」のタブに以下の記載がありました。 AsgInstanceLaunchFailures Could not launch On-Demand Instances. InsufficientInstanceCapacity – We currently do not have sufficient r
【Microsoft Build 2024速報】Azure Container Apps Dynamic Sessions で安全にコードを実行する - APC 技術ブログ
はじめに こんばんは、ACS事業部の吉川です。 Microsoftの年次イベント Microsoft Build でのアップデートについて引き続きお届けしていきます。 build.microsoft.com news.microsoft.com タイトルどおり、本記事では Azure Container Apps Dynamic Sessions をピックアップしてお届けします。 概要 Azure Container Apps Dynamic Sessions は、サンドボックス環境を作成し安全にコードを実行できるサービスです。 https://techcommunity.microsoft.com/t5/apps-on-azure-blog/new-secure-sandboxes-at-scale-with-azure-container-apps-dynamic/ba-p/41421
EKS でノードグループを構成する際、EC2 のインスタンスタイプを指定する必要があります。 managedNodeGroups: - name: nodes-1 instanceType: r5.xlarge しかし今回、特定のアベイラビリティゾーンでのみ、該当のインスタンスが起動できない事象が発生しました。 何百台もインスタンスを起動するならともかく、数台の起動で枯渇するとは・・・。 今回はマネージド型ノードグループに複数の EC2 インスタンスを指定する方法を紹介します。 クラスター構成ファイル クラスター構成ファイルから、それらしい項目がないか探してみます。 設定項目が多くて探すのがなかなか大変ですが、以下の「instanceTypes」が該当しそうです。 managedNodeGroups instanceTypes: specifies a list of instance t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話
KillerCodaで無料Kubernetesを遊び尽くす！
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
Kubernetesで作るIaaS基盤/KubeVirt Deep Dive
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
kubernetes knative でサーバレス Vim
モンスターストライク スタジアムをAmazon EC2からAmazon ECS Fargateに移行しました
Kubernetes Code Contribution入門
AWSでKubernetes The Hard Wayをやってみた - Qiita
[Kubernetes 1.30] kube-proxy の nftables モード
EKS(Kubernetes)でノードグループのステータスがDEGRADEDになった時の対処法｜サラトガ牧場
EKS(Kubernetes)でマネージド型ノードグループに複数のEC2インスタンスタイプを指定する｜サラトガ牧場