最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整
Linux コンテナの歴史を追うとコンテナの仕組みがわかる / Dai Kichijoji pm
2024-07-13「大吉祥寺.pm」の発表資料です。 参考となる情報にはPDF中からリンクをしていますが、資料中のリンクは Speaker Deck 上ではクリックできないので PDF をダウンロードしてご覧ください。
いまやWebアプリの開発やデプロイにおいて、コンテナは欠かせないものになってきました。 コンテナ実行環境にも色々ありますが、その中でも支配的なのがDockerでしょう。 ですがDockerは、その構造上いくつかの問題も抱えています。 今回はDockerと互換性を持ちながらも、よりセキュアに運用できるPo…
背景 本家のruncで実装されているSELinux機能が、Youki (Rustでruncを再実装するOSS）に実装されていないことがわかった。 そこで、SELinux機能をYoukiに導入することになったのだが、SELinux crateが無かったのでRustで再実装することになり、そのプロジェクトにアサインしてもらった。 しかし、SELinuxについて何も知らなかったので、SELiuxについて色々と調べたことをまとめた。 SELinuxとは何か？ security-enhanced Linuxの略称。MAC制御を行うことができる。通常のセキュリティに加えてSELinuxを設定することで、システムセキュリティを更に強化できる。 Labelとpolicyを組み合わせたセキュリティ制御が特徴である。process・file・networkなどのobject、process・userなどのsu
コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
技術部の染矢です。研修中にドット絵を作っていたと思えば、いつの間にか技術研修をする側になっていました。なんとまあ、時の流れというのは恐ろしいものでしょうか。 ペパボでは今年から新卒技術研修の一環として「オブザーバビリティ研修」を実施することにしました。ペパボの中では新しい取り組みであるため、オブザーバビリティ研修のみの内容で一記事を執筆することにしました。他の研修内容も含めたまとめ記事も近いうちに公開されることでしょう。 この記事では、オブザーバビリティ研修を新卒技術研修に組み込んだ意図と、研修内容、また研修設計時に考えていたことを紹介します。 オブザーバビリティ研修を取り入れた背景 ペパボの新卒技術研修では複数の技術を学びます。WebアプリケーションフレームワークからWebフロントエンド、インフラ、機械学習など幅広い技術を、実際に手を動かしながら習得します。 昨年までの研修で、次の課題が
こんにちは。Cacooチームの木村です。以前プルリクを起点に検証環境が自動で構築されるようにしたら すぐにレビューできるようになったのでみんなハッピーになれた話をしたのですが、色々課題があったのでKubernetesのJobを使って改善しましたので紹介します。 この記事はヌーラバー真夏のブログリレー2024の12日目の記事です。 【経緯】プルリク環境は便利 前回の記事では、以下のような経緯からプルリク環境を構築しました。 開発中の機能を試せる検証環境がある 検証環境があると複数人でレビューできて便利 便利すぎてみんなが検証環境のリビジョンを変更したがる プルリクエスト用の環境が構築される仕組みをつくった 複数のプロジェクトが同時進行してても、みんながそれぞれの環境を試せて便利 プルリク環境はチーム内でたいへん好評でした。使い方は非常に簡単で、プルリクエストを作成すると、CIがそのブランチの
7/13（土）に武蔵野公会堂ホールで開催された大吉祥寺.pm に行って、コンテナの話をしてきました。 会場の武蔵野公会堂ホール 吉祥寺.pm 自体や、Perl 系のイベントへの参加経験はこの日までありませんでした。それでも CFP を提出したのは、次のような理由です。 そこそこ著名なサイトで連載したり、そこそこ著名なイベントでの登壇をしていても、意外に知られていないことが多い、ということをここ何年も色々なところで感じています。吉祥寺.pm に参加される方々は、私が普段参加する勉強会やイベントに参加する層とは違う方々も多いのではないかと思い、応募しました。「コンテナ」という、今や当たり前で特に意識せずに使っている技術について、少しだけでもどんな風に動いているのかをイメージできると役に立つことがあるかなと思うからです 主催者である @magnoliak さんとは、X 上では結構ポストのやりとり
GKE で GPU 使うのめっちゃ簡単
この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 2 日目の記事です。 「Kubernetes で GPU を使う」と聞くと結構ハードルが高く感じる方もいらっしゃるのではないでしょうか。本記事では GKE (特に GKE Autopilot) が GPU ワークロードの実行基盤として良いよという話をします。 tl;dr GKE で GPU 使うのめっちゃ簡単 クラスタを構築して nodeSelector 等で GPU Node を指定をしたマニフェストを適用するだけ (GPU デバイスドライバのインストールや管理も不要) Google Kubernetes Engine (GKE) とは Google Kubernetes Engine（以降 GKE）は Google Cloud が提供するフルマネージドな Kubernetes プ
Karpenter を採用することで Slack はどのように業務効率とコスト効率を高めたか | Amazon Web Services
Amazon Web Services ブログ Karpenter を採用することで Slack はどのように業務効率とコスト効率を高めたか この記事は How Slack adopted Karpenter to increase Operational and Cost Efficiency (記事公開日: 2024 年 5 月 3 日) を翻訳したものです。 Bedrock – Slack の内部 Kubernetes プラットフォーム Slack は人々、会話、アプリ、システムを 1 つの場所につなぐ AI を活用した業務用のプラットフォームです。Slack は、コンテナのデプロイや管理をシンプルにするために、”Bedrock” というコードネームの内部コンピューティングオーケストレーションプラットフォームを Amazon Elastic Kubernetes Service (A
はじめに こんにちは、Red Hat のコンサルタントの陳です。今回は、Red Hat Developer Sandbox を利用し、GitOps の開発を簡単に試せる手順をご紹介します。より実践的な内容で OpenShift の魅力を感じていただければと思います。 目次 Red Hat Developer Sandbox とは？ GitOps とは？ このブログで得られるもの リポジトリの紹介 仕組みの紹介 実施手順 おわりに 1. Red Hat Developer Sandboxとは？ Red Hat Developer Sandboxは、誰でも無料で手軽にOpenShiftを体験できるクラウドベースの環境です。これを利用することで、インフラの設定や管理に煩わされることなく、すぐにアプリケーションの開発やデプロイを始めることができます。 2. GitOpsとは？ GitOps は、G
はじめに VPC内のAWSリソース（RDSやElastiCacheのような）にアクセスする際の踏み台環境ですが、昨今、EC2を利用せず、Fargateを中心としたシステム開発も増えてきていることもあり、踏み台環境もFargateで構築する機会が増えてきました。 今回は踏み台環境をFargate + ECS Execで構築する際の良いところ、注意事項、IAMポリシーを利用した制御方法をご紹介したいと思います。 Fargate + ECS Exec 踏み台の良いところ ECS Exec機能ありきで、Fargate踏み台環境を作成する場合、以下のようなことが簡単に実現できるのが便利で大変ありがたいです。 必要な時だけ踏み台コンテナ起動(aws ecs run-task) ※EC2でも必要な時だけ起動は可能ですが、起動が早い セキュリティ統制の対応 IAMポリシーによる権限の集中管理（接続できる人
背景 インストールする CAを作る trust-managerで配布する useDefaultCAs: true 実際にTLSを有効化して通信する TLSを有効化したAPIサーバをデプロイする サーバと通信する CAの更新 CAの保管場所 クラスタ外との通信の暗号化 まとめ 背景 近年、自社データセンター内の通信であっても盗聴を防げるように通信を暗号化することが求められており、うちの家のKubernetesクラスタでもなんとなく通信を暗号化しようかなという気持ちになった。一方、サービスメッシュによるmTLSのような比較的重厚な仕組みを導入するのはあまり前向きになれず、単にクラスタ内で使える証明書をcert-managerから発行して各サービスが扱うことで達成できないか考えた。 cert-managerでself-signedな証明書を作っても、その証明書のsecretにあるca.crtなど
AWS の EKS で使用している EC2 のノードインスタンス。 クラスターの設定ファイルで指定しなければ、デフォルトのディスク容量はインスタンプタイプによって決定されます。 例えば、r5.xlarge だと 80GiB ですね。 ただ、EC2 インスタンスのディスク使用量はサクッと確認する方法がわからなかったので、もしかすると想像以上に消費してないかもと思い調べてみることにしました。 ここでは、EC2 インスタンスに ssh やセッションマネージャーでログインできない場合を想定しています。ログインできる場合は、df コマンドなどで確認してください。 Contents EC2のディスク容量KubernetesのNode metrics dataEKSクラスタのコンフィグでボリューム指定まとめEC2のディスク容量 冒頭にも注意書きしましたが、EC2 インスタンスに ssh やセッションマネ
Kubernetes でノードのスケールを管理するのに Cluster Autoscaler を利用しています。 Cluster Autoscaler 最近は、EKS で利用するなら Karpenter の方が推奨されているようですが、運用期間が長くてノウハウが増えつつあるサードパーティー製品を置き換えるのは大変そうです。 基本的には、Kuberentes クラスタがリソース不足で pod をスケジュールできないときにノードを増やし、ノードのリソースが長時間利用されていないときにノードを減らすといった動きをしてくるのは同じ。 ただ、このあたりのスケーリングのルールがブラックボックス化している印象だったので触れてこなかったのですが、今回は暇そうにしているノードがなかなかスケールインしなかったので調査してみました。 Contents ノードのスケールアウト(スケールアップ)ノードのスケールイン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ
Docker互換のセキュアなコンテナ実行環境「Podman」超入門
containerにおけるSELinuxの役割について - Gekko0114 備忘録
コンテナランタイムを自作した - zebian.log
ペパボでもオブザーバビリティ研修を実施しています - Pepabo Tech Portal
KubernetesのJobを使ってプルリクを起点に検証環境が自動で構築される仕組みを改善した話 | 株式会社ヌーラボ(Nulab inc.)
大吉祥寺.pm に参加し、コンテナのお話をしてきました - TenForward
Developer SandboxでGitOpsを試してみよう！ - 赤帽エンジニアブログ
ECS Exec利用に関する注意事項 - Techfirm Cloud Architect Blog
trust-managerを利用してk8sクラスタ内のオレオレ証明書をちゃんと検証する - ぽよメモ
EKSでマネージドノードグループに使用しているEC2のディスク使用量を確認する｜サラトガ牧場
ClusterAutoscalerでノードのスケールインのCPUリソースの閾値を調整する｜サラトガ牧場