コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
This was the biggest un-truth that I saw while working at AWS on the EKS team. On an almost weekly basis a customer would want to use AWS Fargate for a variety of reasons and one of them would be because it used Firecracker. For some reason–AWS marketing–that was better than traditional EC2 Xen virtualization. And no one at AWS would correct them. There was an unspoken policy to never point out th
Dockerコンテナを活用したテストツール【Testcontainers】 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Testcontainersとは Testcontainersのメリット ハンズオン 環境設定 goプロジェクトの作成 必要なパッケージのインストール テストコードの作成 コンテナリクエストの設定 コンテナの起動 コンテナのホストとポートの取得 結果の確認 まとめ はじめに こんにちは！ エンジニア２年目のTKDSです！ 前回はDaggerを紹介しました。 今回もコンテナ技術を活用して、テストを容易にするツールについて紹介します。 今回取り上げるのは、統合テストやエンドツーエンドテストのためにDockerコンテナを利用するライブラリ、Testcontainersです。 Testcontainersとは Testcontainersはさまざまなプログラミング言語（Java、Go、Python、Node.jsなど）向けに提供されており、Daggerと同様にテスト用のコンテナを簡単に作
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれの
Linux Containers vs. Docker: Which One Should You Use? | Docker
In today’s evolving software development landscape, containerization technology has emerged as a key tool for developers aiming to enhance efficiency and ensure consistency across environments. Among the various container technologies available today, Linux Containers (LXC) and Docker are two of the most popular choices. Understanding the differences between these technologies is crucial for devel
GitHub - maelstrom-software/maelstrom: Maelstrom is a fast Rust test runner that runs every test in its own container. Tests are either run locally or distributed to a clustered job runner.
Maelstrom is a suite of tools for running tests in hermetic micro-containers locally on your machine or distributed across arbitrarily large clusters. Maelstrom currently has test runners for Rust and Python, with more on the way. You might use Maelstrom to run your tests because: It's easy. Maelstrom provides drop-in replacements for cargo test and pytest. In most cases, it just works with your e
はじめに 前回エントリでは、Container Bundleを使ってsbatchでのコンテナ実行を試してみました。 その際に以下のエラーが発生していましたが、原因が特定できたので情報を残しておこうと思います。 エラーの状況は以下でした。 [john@master ~]$ sbatch --container /mnt/share/john/centos_image --wrap 'grep ^NAME /etc/os-release' Submitted batch job 779 [john@node1 ~]$ cat slurm-779.out NAME="CentOS Linux" slurmstepd: error: _try_parse: JSON parsing error 71 bytes: boolean expected 出力にslurmstepd: error: _tr
AWS CloudShell の VPC サポートがされたので実際に触ってみた - 継続は力なり
タダです. AWS CloudShell(以下 CloudShell)で VPC 内で利用が可能なりました.このアップデートで踏み台サーバをなくせるのではと思ってどんなことができるのかや制約をこの記事でまとめます. aws.amazon.com CloudShell VPC 環境でできること/制約 実際に起動して色々確認してみる まとめ CloudShell VPC 環境でできること/制約 まず,CloudShell VPC サポートでできるようになったことをまとめます. VPC 内で CloudShell 起動がサポートされたこと 起動するサブネットは1つ,セキュリティグループは最大5つまで付与して起動できること CloudShell VPC サポートの制約ですが,以下が挙げられます. IAM プリンシパルごとに最大2つの CloudShell VPC 環境が作成できる CloudShe
Kubernetesクラスタとは、Kubernetesを利用して構築された複数のノードから成るシステムのことです。 Kubernetesクラスタを利用することで、複数のコンテナを効率的かつ安定的に管理することができます。 Kubernetesクラスタには、MasterノードとWorkerノードがあります。 Masterノードは、クラスタ全体の管理を担当し、Workerノードは、コンテナの実行を担当します。 今回は実験的にKubernetesクラスタを構築するために、Hyper-Vで仮想環境を使用したなんちゃっKubernetesクラスタを構築します。 構成としては、Masterノード1個・Workerノード2個の構成とします。 作業の流れとしては、下記の流れで作業していきます。 Hyper-Vによる仮想環境の作成 全ノードの共通設定 Masterノードの構築 Workerノードの構築 構築
runwasi関連の基礎知識 - Qiita
runwasiとは ContainerdでWasmを動かすための共通platformを提供する。WASIをターゲットにcompileされたプログラムであれば、WASIに準拠したランタイム(wasmtimeなど)で実行できる。Rustで記述されている。 runcの代わりに、WebAssemblyランタイムを可能にするshim(異なる環境での互換性を保つソフトウェア層)であるrunwasiをcontainerdで動かすことが出来る。 Container毎に1つのshim processが存在するnormal modeと、すべてのshimを実行する単一のprocessで実行されるshared modeがある。 Wasm containerはコンパイルされたWasmバイトコードのみなので、Linuxコンテナよりも非常に軽量で起動が速く可搬性も高い。 Component containerd-shi
Slurm Installその後5. Slurm with OCI Container Runtime (Rootless Docker) - マイLab手帖
はじめに 今回はSlurmでのコンテナ起動設定をやってみたいと思います。 コンテナといえば思い浮かぶのはDockerが一般的ですが、root権限でdockerdを常駐させる仕組みです。 root権限での操作は資源共有を行うHPCジョブスケジューラ環境にとっては深刻なセキュリティリスクで、そのままSlurmでは使えません。 ただし、OCI準拠コンテナランタイムを非特権で動かすのはSlurmでネイティブサポートされているとの事なので、今回はsbatch(srun,salloc)に実装された「--containerオプション」（21.08〜）を使って、コンテナ実行ができるか？ 試してみたいと思います。 ちなみに... Slurmを含めHPC環境でのコンテナワークロード利用は「Singularity」がデファクトスタンダードな世の中な気がしています。が、少し前に開催されたSLUG'22でpodma
以前 (といっても6年近く前なんですね…) かいた[「Xilinx の開発ツールを Docker コンテナに閉じ込める」](/blog/2018/09/15/install-xilinx-tools-into-docker-container/)がそこそこ反響あったみたいです。やっぱり環境構築の流用性や再現性向上であったり、CI/CD 含む build automation の需要は FPGA 界隈にもあったんだなーという感じです。単純に Docker だとかコンテナ技術だとかの流行りに乗っただけというのもあるかもですが、いずれにしてもこうしたツールや技術が FPGA 界隈で少しでも注目されたのならよかったかなと思います。 あれから状況はかなり変わりました。Xilinx は AMD になったり、SDK は Vitis になったり、その Vitis も最近のバージョンで様相が大きく変わったり
Rocky Linux に Kubeadm を使用して Kubernetes クラスターをインストールする方法
このページでは 前提条件 システムのセットアップ /etc/hosts ファイルのセットアップ Firewalld ルールの設定 SELinux およびカーネル モジュールをセットアップし、SWAP を無効にする コンテナ ランタイムのインストール: Containerd Kubernetes パッケージのインストール CNI プラグインのインストール: Flannel Kubernetes コントロール プレーンの初期化 Kubernetes へのワーカー ノードの追加 結論 Kubernetes または k8s は、コンテナー化されたアプリケーションのデプロイ、管理、スケーリングを自動化するコンテナー オーケストレーション用のオープンソース プラットフォームです。 Kubernetes は Google によって作成されたコンテナ オーケストレーションであり、現在はオープンソース プロ
Windows11 + WSL2 (Ubuntu22.04) のNVIDIA GPUについて。とnvidia-dockerをすこし
WSL2(Widnwos Subsystem for Linux)は数年前と比べて格段と良くなりましたね。 WindowsをインストールしてからWSL2を使えるようにした際にnvidia-smi をWSL2で使うまでを記事で書こうとしました。 結果 ホスト側にドライバを入れたら勝手にWSL2にnvidia-smiが入っていて、普通に使えた。 😲😲😲😲😲 おまけ あまりにも素っ気なかったので、nvidia-dockerをWSL2側のDockerEngineにnvidia-dockerを建ててnvidia-smiが実行出来るか試してみました。 dockerを入れる まだインストールしたばっかりだったのでDockerが入っていません。 とりあえず公式ドキュメントの通りに入れてみます。 ! ~ sudo apt-get remove docker docker-engine do
Docker のインストール † 独立した仮想マシンを１つのプロセスとして立ち上げられるコンテナ実行環境。 Debian 用のインストラクション通りにすれば簡単だった https://docs.docker.com/install/linux/docker-ce/debian/ LANG:console $ uname -r # >= 3.2 でなければならないらしい 3.16.0-4-amd64 $ sudo apt-get update # 以下、docker 配布元を apt-source に入れる $ sudo apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common $ curl -fsSL https://download.docker.com/linux
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナランタイムを自作した - zebian.log
Fargate Is Not Firecracker
Slurm Installその後5-続き. slurmstepd: error - マイLab手帖
Kubernetesクラスタの構築方法 - 機械学習ともろもろ
AMD/Xilinx Vivado を Docker コンテナに閉じ込める | Tosainu Lab
ソフトウェア/docker上でredmineを動かす