Dockerコンテナとして本番実行しているRailsをjemallocで高速化&省メモリ化した話 - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部 Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用とAWSによるサービスインフラの設計構築を中心とした、いわゆるバックエンド方面のテックリードとしてニコニコ漫画を開発しています。 本記事では、私たちが開発・運用しているRails製のjson APIバックエンドにおいて、mallocの実装としてjemallocを使うように変更したことについてお話します。 背景 私たちが2020年4月から開発しているニコニコ漫画のRails製json APIバックエンド(以降「新バックエンド」と呼びます)は、2010年8月のサービス開始以来サービスを支え続けているPHP製アプリケーションのビジネスロジックに関する式年遷宮的移行先であり、当初よりAWS ECS Fargate上で実行しています。*1 今年8月にリリー
Dockerfileを解析、最適化やベストプラクティスをガイドしてくれる「Docker Buildチェック」機能が正式版に
Dockerfileを解析、最適化やベストプラクティスをガイドしてくれる「Docker Buildチェック」機能が正式版に Docker社は、Dockerfileを解析して最適化とベストプラクティスをガイドしてくれるツール「Docker Buildチェック」機能の正式版をリリースしました。 Docker Buildチェックは、WindowsやMacなどのデスクトップ環境にDockerコンテナ環境を簡単に導入できるDocker Desktopの最新版として7月29日にリリースされた「Docker Desktop 4.33」の機能として提供されます。 Dockerfileとは、Dockerコンテナを構成するさまざまなファイルを取得し、ビルドを実行してDockerコンテナイメージを作成する際の手順書といえます。 そのため、Dockerfileはビルドが正常に実行されるようにバグがないように手順を
2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ
最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整
コンテナランタイムを自作した - zebian.log
コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
雰囲気でDocker Composeを触っている状態から脱するために調べたこと（2023） - Activ8 Tech Blog
エンジニアの岡村です。 自分はサーバーがメインではなく、あまり業務でガッツリ触るわけでもないのですが、最近それなりに活用するようになってきました。しかし、ネット上の日本語情報を読んでいるだけではこれの書き方が正しいのかよく分からない、と悩むことが結構あったため、色々情報を漁ってみました。 この記事は、特に自分が気になった部分の調べた結果を記事に纏めてみたものです。対象読者はdocker-composeを雰囲気でupやdownは叩けるけどComposeファイルの書き方がよく分からんとなってる人です。 Docker Composeの概要とcompose.yaml、Compose Specの関係 compose.yamlの書き方は Compose Specに準拠すればOK Compose Specの場所 推奨のファイル名はcompose.yaml compose.yaml内にバージョンを記述する
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場 WindowsやMacなどのデスクトップPCでVisual Studio Code（以下VSCode）を利用して開発をする場合、同じローカルマシン上でDockerコンテナのLinux環境を起動し、VSCodeのターミナルで接続して操作することは、開発環境としてよくあることだと思います。 これと同じことをWebブラウザ版のVSCodeでも実現する、すなわちWeb版VSCodeが同一Webブラウザ上にWebAssembly化したDockerコンテナを起動し、Web版VSCodeからローカルマシンとして接続し利用できる、実験的実装を実現したVSCodeの拡張機能「vscode-container-wasm」が登場しました。 V
コンテナイメージ内でLambda レイヤーと拡張機能を動作させる | Amazon Web Services
Amazon Web Services ブログ コンテナイメージ内でLambda レイヤーと拡張機能を動作させる この記事では、コンテナーイメージとしてパッケージ化され、デプロイされた Lambda 関数で AWS Lambda レイヤーと拡張機能を使用する方法について説明します。 以前はLambda 関数は.zip アーカイブとしてのみパッケージされていました。これにはAWS マネジメントコンソールで作成された関数が含まれます。今はLambda 関数をコンテナイメージとしてパッケージ化およびデプロイすることもできるようになりました。 Docker CLI などの使い慣れたコンテナーツールを Dockerfile を使用してイメージをローカルで構築、テスト、タグ付けすることができます。コンテナイメージを使用したLambda 関数は 10 GBのサイズまで構築することが可能です。構築したイメ
Dockerの"分からない"を簡単にメモ - Qiita
概要 前提 規約 コンテナはエフェメラル(短命:ephemeral）であること .dockerignoreを有効活用する 不要なパッケージのインストールを避ける コンテナ毎に1つのプロセスだけ実行 レイヤーの数を最小に 複数行の引数はアルファベット順、改行すること Docker network 概要 bridge none host overlay ipvlan macvlan Docker Volume 概要 bind mount volume tmpfs mount Dockerfileを扱う まずはDockerfileを作成する！ FROM:ベースイメージを作成 RUN: 任意のコマンドを実行する WORKDIR: ワークディレクトリを追加する レイヤーの確認 コンテナの生成と停止 imageを作成 runでコンテナを起動 stopでコンテナを停止 pruneでDockerのお掃除
GoシングルバイナリDockerイメージビルドでハマったこと - Qiita
こんにちは、株式会社medibaでバックエンドエンジニアをしている @mdbr92 です。 この記事は mediba Advent Calendar 2021 の14日目です。 ※記事の内容はあくまで個人の発信であり、会社を代表する意見や見解ではありません。 この記事では Go 言語で記述した HTTP サーバプログラムを AWS ECS などで動かすために シングルバイナリ Docker イメージを作成しようとした際に ハマってしまったことを書きたいと思います。 なぜシングルバイナリイメージにしたいのか？ Go言語で記述したプログラムはシングルバイナリ (ランタイムを必要とせず単体で実行できるファイル)にビルドできます。 この実行ファイルのみを scratch(Docker の予約済みの最小限のイメージ)に乗せて ビルドすると 10MB 前後の小さな Docker イメージを生成すること
glibcを入れたDocker公式イメージ(Alpine)のコンテナによるCI/CDが通らなくなった - 365歩のテック
前提 GitLab-CIの実行コンテナに、公式dockerイメージ(=Alpine)を使っていた AWS CLI v2 のインストールにはglibcが必要 Alpineイメージのコンテナにはglibcが入ってないので自前でインストールしていた 2021/8/5木昼 急にCI/CDが通らなくなった ある日いつものようにコードの反映のためにCI/CDの実行結果を待っていたら、CICDジョブが失敗していました。 CI/CDジョブの実行結果にはこんなエラーが・・・ **ERROR: glibc-2.31-r0: trying to overwrite lib64/ld-linux-x86-64.so.2 owned by libc6-compat-1.2.2-r1.** 環境の説明 ここで環境、特にCI/CDまわりの説明をしておきます。 まず、CI/CDにはGitLab-CI(Shared Run
Docker Desktopと代替ソフトウェア大集合 - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア
Docker Desktopは普段使いのマシンでコンテナーでアプリケーションを実行することができるソフトウェアで、Dockerのサイトからダウンロードして使うことができます。 開発中のアプリケーションのテストとか、手元の環境でソフトウェアを動かしてみたい時に便利です。VSCodeとの連携もバッチリで、VSCodeコードでコーディングしたアプリケーションをDockerコンテナーで実行するDevContainerにも対応しています。最近のバージョンでLinux Desktop版も提供されるようになったので、もちろんパソコンは必要ですが、Linux DesktopにDocker Desktopをインストールすれば、ほぼ無料でコンテナーベースのアプリケーション開発が可能になります。 良い世の中になりました。 そんな便利なDocker Desktopですが、Dockerの方針変更で次の条件に当てはま
The Software Pro's Best Kept Secret.
Stop following tutorials designed for beginners. Start working on projects that actually challenge you. Become a better engineer through deliberate practice.
Docker on Lima なツールを色々試してみた - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2022 6日目の記事です！ 本日はサービス基盤の yoko がお送りします。 まえがき：Mac と Docker コンテナ型の仮想環境を高速に作成・起動できる技術として有名な Docker ですが、コンテナという隔離された環境を作るために Linux カーネルの機能を利用しています。つまり、Docker は Linux という技術によって支えられており、そのままでは MacOS や Windows 上で実行することができないはずです。 しかし、僕たちは当たり前のように Mac や Windows で Docker を動かしています。Mac では Docker Desktop for Mac がよく使われていますね。 Docker Desktop for Mac は Linux VM を立ち上げ、VM上のコンテナ
Apptainer導入
Linux Foundationへの移管とApptainerへの改名 HPC向けコンテナ環境としてよく使われているSingularityプロジェクトのLinux Foundationへの移管に伴って名称を変更されたものがApptainerです。 Singularityというプロジェクトはやや込み入った状況があります。例えば理化学研究所のスーパーコンピュータ富岳で採用されているコンテナ環境はSingularityPROと呼ばれているものですが、これはSylabsという会社が上記のプロジェクトをフォークしたもので、現在では実質的に独立して開発が続けられています。2つのプロジェクトが同じSingularityという名前で開発されている事による混乱を避けるため、またSylabsが引き続きSingularityという名称を商用に使えるように、Linux Foundationに移管された方のプロジェク
レガシーシステムをDockerコンテナ化する場合に直面した4つの壁 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「WEBアプリケーションのDockerコンテナ移行」にまつわる検証を進めているので、その中間報告を共有しようかと思います。 本検証での想定環境 CIに不必要な部分は後回し 既存アプリでコンテナ化の障害になった部分 OSコマンドを利用している ミドルウェアとの密結合 オンライン系とバッチ系の密結合 ひとまず目指す状態 プロセス相乗りの影響 ログが複数出力される まとめ 続きの記事も書きました。 tech
Run APIs Easily. Anywhere. | Traefik Labs
A centralized routing solution for your Kubernetes deployment.
Podman Desktopを触ってみる - 仮想化通信
Podman Desktopはアプリケーション開発者向けのコンテナ実行環境とKubernetesを提供するソフトウェアです。WindowsとmacOS、Linuxに対応しているようです。 現在は0.0.6が最新のバージョンです。 podman-desktop.io Docker Desktop有料化からおおよそ一年が経ち、同様のソフトウェアが増えてきましたね（Rancher desktop、Container Desktop、ちょっと用途が異なりますが、Multipassなど）。OSSのDockerやDocker Desktopを含めてどれも好きなんですが、今の所私のお気に入りはRancher Desktopですね。 Multipassはコマンドでなにか操作するようなときにVMを作って、その中で操作しています。Ubuntuのsnapパッケージについては議論があるのは知っていますが、少なくと
KH Coder を Docker で動かす(2022) - Qiita
これはなに？ この記事通りに最後までやれればたぶん KH Coder を Docker で動かすことが出来ます。でも手作業がかなり入るので大変かも。 github から clone 今回の成果を github においてあります。 docker-compose.yml の内容とかを確認しておきましょう。 あとで mysql のポートはふさいだ方がいいかも。 KH Coder のインストール KH Coder をインストールします。パッチも当てます。自分がパッチを作った経緯は忘れてしまいました(今検証するとそもそもパッチいらなさそう)。パッチの内容は DB 名として mysql からkhcoder に変えました。mysql 8.0.27 ではセキュリティ的に厳しくなったのが理由のはずです。固定的に DB の名称を khcoder にしました。 なお、この変更の為 mysql で初期化が必要にな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Oracle Cloud InfrastructureのArmインスタンスでリモートデスクトップしたいのでxrdpを使う: Ubuntu編
Traefik
