こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ
KillerCodaというサイトがあるのですが、こちらは無料でKubernetesを使えそうだったので色々試してみます！ なんとCKAやCKADの練習にもなる！というのが魅力的に感じました✨ KillerCodaの概要 ユーザーが既存のシナリオから学び、クリエイターとしてはあらゆるツールや技術を教えるためのシナリオを提供できることが特徴のサイトです。単に無料で遊べるというよりは、シナリオを作る・シェアする・学ぶというところがメインのようです。 それは無料/有料ユーザーの違いにも表れています。Nodeのスペックではなく、シナリオに関連する要素が課金対象となるようです。 Free User シナリオ使用数は無限 パブリックシナリオは3つまで作成可能 PLUS Member（有料メンバー） シナリオを4時間まで使用可能 同時に３シナリオを開くことができる Exam Remote Desktopを
2024/06/05に行われた、OCHaCafe Season8 #5 - Kubernetesで作るIaaS基盤で用いた資料です。 commpass: https://ochacafe.connpass.com/event/316645/
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11-bullseye AS developer ENV PYTHONUNBUFFERED=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ bash=5.1-2+deb11u1 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -r requirements.txt COPY . . # ビルド用ス
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
https://event.cloudnativedays.jp/cnds2024/proposals/731
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 モンストサーバチームでは、モンスターストライクとは別に、モンスターストライク スタジアムというスマートフォンのアプリゲームのサーバ開発・運用を行っています。 モンスターストライク スタジアムは、モンスターストライクとプレイスタイルは同じながら、4vs4の最大8人まで同時対戦や練習モードなどを備えたアプリになっており、モンストのeスポーツ大会「モンストグランプリ」を開催する際にも利用されています。 開発体制の現状 モンスターストライク スタジアムは、初期の段階でモンスターストライクのコードから分岐する形で開発されているため、アップストリームの変更を順次取り込んでいくという仕組みで運用されています。そのため、サーバコードなどは別にあり、適宜新機能を取り込んでいきアップストリームと合わせていくという開発・運用フロ
KubeVirtを使って自宅VM基盤を構築する
VM基盤を管理するツールとして、KubeVirtがあります。KubeVirtを使うとKubernetes上でコンテナと同じようにVMを管理できます。自宅で簡単にVMを立てられるようにするためにKubeVirtを試してみたので、方法と感想をお伝えします。 KubeVirtとはVMをmanifestsとして記述すると、KubeVirtのControllerが良い感じにVMを作成してくれます。この時VMはコンテナと同じネットワーク上に存在するので、コンテナとの通信やアクセス制御などもKubernetesの仕組みに基づいて管理できます。 virtctl(kubectl virt)というCLIツールが提供されており、これを用いてVMをstart, stopしたり、ssh, console, vncなどでVMに接続したりできます。 またContainerized Data Importer(CDI)と
DockertestとLocalStackを使って 外部サービスに依存した多要素認証の 動作確認・テストをした話 / A story about using Dockertest and LocalStack to check and test the operation of multi-factor authentication that depends on external services
2024/06/08： Go Conference 2024 https://gocon.jp/2024/ DockertestとLocalStackを使って 外部サービスに依存した多要素認証の 動作確認・テストをした話 西田 智朗 ソフトウェアエンジニア
Project Legion
Overview Over the years, Azure Functions has heard a growing number of customers highlighting the need for: improved performance, virtual network injection for a Consumption SKU, scale to zero and burst scale to 1,000's of instances. Similarly, in late 2021, the newly launched Azure Container Apps team was looking for an architecture with improved networking capabilities and performance in anticip
概要 https://github.com/kelseyhightower/kubernetes-the-hard-way 2024/4/6に約3年ぶりのアップデートがあった。 以前はGCP環境が前提の手順となっていたが、そのアップデートでクラウドプロバイダ問わずの手順に変わっていたのでAWS環境で実践してみた。 なおOSはDebian 12 (bookworm)が前提となっていたが、わずかでも独自性を出すべくAmazon Linux 2023を使用している。 結果 手順が十分以上に整備されていることもあり、完走するだけならほぼコマンドをコピペするだけで事足りた。 そのため過程について記述することは特段なかったが、備忘のため2点だけ注意点を書き残す。 ①configs/encryption-config.yamlが存在しない 2024/6/6時点ではconfigs/encryption-c
Setting up Pod Level Cost Allocation for AWS EKS
As cloud adoption surges, effective cost management is paramount for Application teams. Many modern products and applications are developed on the cloud agnostic Kubernetes infrastructure. While AWS Elastic Kubernetes Service (EKS) offers powerful orchestration capabilities, dissecting costs at a granular pod level can be very challenging. Without added tools, it was/is nearly impossible to get it
[アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce | DevelopersIO
[アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました。 Inspector Scan API を利用して詳細を確認できます。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。普段は趣味で Amazon Inspector の追っかけをしています。 フィラデルフィアで開催されている AWS re:Inforce 2024 に参加しています。 Keynote や What's new の裏側で Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようにな
![[アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1ac42cfd4e5f0a287ed5db0380a987866b4dde2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F06%2Feyecatch_awsreinforce2024_1200x630.png)
Linux Containers vs. Docker: Which One Should You Use? | Docker
In today’s evolving software development landscape, containerization technology has emerged as a key tool for developers aiming to enhance efficiency and ensure consistency across environments. Among the various container technologies available today, Linux Containers (LXC) and Docker are two of the most popular choices. Understanding the differences between these technologies is crucial for devel
以下の記事で対処法について知った。 なお、この問題についてはnvidia-dockerがISSUEの原因と対処法について文書を公開している。 原因は、簡単にいうと、cgroupの管理がsystemctlとdockerとで競合しているということらしい。cgroupの管理をsystemctl以外にすることがワークアラウンドになる。 nvidia-dockerの次のpactch releaseで解決する予定とのこと。 環境
K0s 1.30 Released
New k0s delivers Kubernetes 1.30 (“UWUbernetes”) plus new k0s-only features — including improvements to control plane management, “virtual IPs” (internal LB) out-of-box, and an exciting new Support Insight feature, powered by open source Replicated TroubleshootK0s 1.30 just dropped, delivering upstream Kubernetes 1.30 (“UWUbernetes”). Tiny heart fingers to the contributors, and to Team k0s for del
以下の様に、 docker-compose.override.yaml で、 !reset を指定することにより、設定が無かった事にできます。 docker-compose.yaml 詳しくは、以下のPRを見て下さい＼(^o^)／ 私の要件では、 github Actions で コンテナを 使うときは、 素早く起動するよう、コンテナイメージから、取得したい。 開発環境では、 気軽に、コンテナ設定を 変更したい。 のような感じなので、 githubActions で動くときは、 docker-compose.yml に 対して、 docker-compose.override.yml で buildを !reset で打ち消しを行い、image から コンテナを取得します。 今まで、これをやるには、 yamlファイルの 置換や、 .env でゴニョゴニョやる必要がありましたが、打ち消しでき
runwasi関連の基礎知識 - Qiita
runwasiとは ContainerdでWasmを動かすための共通platformを提供する。WASIをターゲットにcompileされたプログラムであれば、WASIに準拠したランタイム(wasmtimeなど)で実行できる。Rustで記述されている。 runcの代わりに、WebAssemblyランタイムを可能にするshim(異なる環境での互換性を保つソフトウェア層)であるrunwasiをcontainerdで動かすことが出来る。 Container毎に1つのshim processが存在するnormal modeと、すべてのshimを実行する単一のprocessで実行されるshared modeがある。 Wasm containerはコンパイルされたWasmバイトコードのみなので、Linuxコンテナよりも非常に軽量で起動が速く可搬性も高い。 Component containerd-shi
EKS でノードグループを追加して、既存のノードグループから pod を drain して移す定番作業。 この作業自体は問題なかったのですが、よくよく見てみると新しく追加したノードグループのステータスが「DEGRADED」と見慣れないものになっていました。 今回は、この原因と解決方法を紹介します。 Contents エラーの内容原因の特定対処法まとめエラーの内容 DEGRADED となる原因は色々とあると思いますが、AWS コンソール上の EKS 画面でノードグループを見てみると、「ヘルスの問題」のタブに以下の記載がありました。 AsgInstanceLaunchFailures Could not launch On-Demand Instances. InsufficientInstanceCapacity – We currently do not have sufficient r
はじめに WebAssembly(Wasm)は元々ブラウザで実行するものでしたが、WASI等のサーバーサイドで実行するための取り組みも進んでいます。 この記事ではサーバーサイドでの活用例の一つとしてSpinというフレームワークを紹介します。 Spinの概要 SpinはFermyon社が開発しているWebAssemblyを使用してマイクロサービスをビルド・実行するためのフレームワークで、以下の特徴があります。 Spin SDKを使用して実装したハンドラをWebAssembly形式でコンパイルしてイベントドリブンで実行する(WebAssemblyを使ったFaaS) ランタイムはWasmtimeを利用 イベントは、HTTPアプリケーションを作成できる「HTTPトリガー」とRedis Pub/Subのメッセージを処理できる「Redisトリガー」の2種類をサポート 複数のプログラミング言語でマイクロ
NVIDIA GPU CLOUD が提供している CUDA が使える Julia コンテナで遊ぶ - Qiita
本日は アドベントカレンダー３日目です． GPU 関連だったら Flux.jl でいいかなという気持ちで書いています． フィードバックを得た １日目のアドベントカレンダー CUDAが動く Julia の深層学習フレームワーク Flux.jl の環境構築をDockerで行う． を書いた時に Twitter で NGC(NVIDIA GPU CLOUD) でもNVIDIAのGPUが使える Julia 環境のコンテナが用意されているということを教えていただきました． https://www.nvidia.com/ja-jp/gpu-cloud/ https://ngc.nvidia.com/catalog/containers/hpc:julia 上のページを読むとですね．使い方がすごく丁寧に書かれているんです．モゥそれ見て・・・．ゴマちゃん感動したよ．(´・ω・｀)b 使い方 Docker p
Devcontainerとは？ こちらの記事が参考になる この機能を使う目的 devcontainerはコンテナ内で環境を作成できるので、「作業者の環境にパッケージなどが依存しており、本番環境で動かない！」ということがない いちいちdocker runしてdocker attach してdockerコンテナ内に入る、という作業がなくなる Git, Githubの設定をホストマシンから引き継いで、Githubにプッシュできる Dockerコンテナの起動方法を記述して、開発環境に特化させた環境を記述できる。例えば、開発環境のみに必要なGitや開発依存のnpmパッケージをインストールする記述が可能 現状の運用最適解 環境差異をなくすため。devのための環境はできるかぎり作らない。その環境差異はdevcontainerに吸収させる。 onCreateCommandでgit, openssh-cli
EKS でノードグループを構成する際、EC2 のインスタンスタイプを指定する必要があります。 managedNodeGroups: - name: nodes-1 instanceType: r5.xlarge しかし今回、特定のアベイラビリティゾーンでのみ、該当のインスタンスが起動できない事象が発生しました。 何百台もインスタンスを起動するならともかく、数台の起動で枯渇するとは・・・。 今回はマネージド型ノードグループに複数の EC2 インスタンスを指定する方法を紹介します。 クラスター構成ファイル クラスター構成ファイルから、それらしい項目がないか探してみます。 設定項目が多くて探すのがなかなか大変ですが、以下の「instanceTypes」が該当しそうです。 managedNodeGroups instanceTypes: specifies a list of instance t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話
KillerCodaで無料Kubernetesを遊び尽くす！
Kubernetesで作るIaaS基盤/KubeVirt Deep Dive
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
マイクロサービス基盤にフルマネージドサービスではなくKubernetesを選択する理由
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
モンスターストライク スタジアムをAmazon EC2からAmazon ECS Fargateに移行しました
AWSでKubernetes The Hard Wayをやってみた - Qiita
nvidia-dockerが突然GPUを認識しなくなる問題
docker-compose.override.yml で 打ち消し定義 ができるようになった。
EKS(Kubernetes)でノードグループのステータスがDEGRADEDになった時の対処法｜サラトガ牧場
Wasm を利用したフレームワーク Spin について（前編） - Qiita
devcontainerの運用ベストプラクティス - Qiita
EKS(Kubernetes)でマネージド型ノードグループに複数のEC2インスタンスタイプを指定する｜サラトガ牧場