Mutagenを使って開発環境の重たいDockerを3倍高速化する | GRIPHONE ENGINEER'S BLOG
はじめまして！CyberAgent 21卒内定者の笹です。現在、内定者アルバイトとしてグリフォンに配属されています。 今回はMutagen Composeを使って開発環境Docker上のPHPのレスポンスをWindowsでは平均3.4倍、macOSでは平均2.0倍することに成功したので、その手順と以前の環境との比較を書きたいと思います。 DockerのVolumeマウント遅すぎ問題 開発環境のDockerのVolumeマウント、重いですよね。私たちのプロジェクトでも、Dockerの重さは問題視されてきました。とはいえ、Docker抜きで開発することはできません。 Dockerの開発側もこのVolumeマウント遅すぎ問題に対処している様で、いわゆるベータ版であるEdgeチャンネルでは、それに対処するための様々な新機能が搭載され、実験が重ねられています。 ですが、それらの機能はOS間での互換性
CPU律速なRuby/Pythonコードはデフォルト設定のdocker上で遅くなる - まめめも
English version 要約 dockerはデフォルトでセキュリティ機構（Spectre脆弱性の対策）を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります（実行時間が倍くらいになることがあります）。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合： $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
DockerでのDisk使用量を調べる - すずけんメモ
docker system df を使えばOK。 $ docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 157 22 39.25GB 36.31GB (92%) Containers 35 5 493.4MB 455.2MB (92%) Local Volumes 204 53 7.277GB 4.954GB (68%) Build Cache 0 0 0B 0B docker system df -v だとコンテナごとのディスク使用量がみれる。 つかっていないイメージなどを消すには docker system prune が便利。 $ docker system prune WARNING! This will remove: - all stopped containers - all networks not use
DockerでVolumeの容量が増え続けていたときの対処 - より長続きするブログ
普段使っているラップトップはSSD256GBなのだが、近頃ディスク使用量が90%越えてしまい、どうにかせねばと思っていました。ディスクの内訳を調べてみると、dockerのvolumeが溜まりまくっていたことがわかりました。 調査 sudo du -hs /* からはじめて、大きいディレクトリを手動再帰で調べました。自動化するほどでもなく、容量を食っているディレクトリは簡単に見つかりました。 130G /var/lib/docker これは…SSD全容量の半分以上食ってるやんけ…… さらに調べるともう削除したはずのコンテナの、volumeコンテナであることがわかりました。 条件はよくわかりませんが、ある用途で使っているコンテナで使ったvolumeが残り続けてしまっているみたいです。 そのコンテナはちょいちょい新しく作り直していたので、その度にvolumeが増えていく。 削除方法 たまに do
PostgreSQL が起動したかどうか簡単に確認する (ping) - Qiita
PostgreSQL は、プロセスを起動してから SQL クエリ・外部入力を受け付けるようになるまで若干のタイムラグが有ります。特に Docker コンテナで起動した場合、自分の環境では5秒程度待つことになります。 The files belonging to this database system will be owned by user "postgres". This user must also own the server process. The database cluster will be initialized with locale "en_US.utf8". The default database encoding has accordingly been set to "UTF8". The default text search configuration
ちゃんと理解するdocker build cache - 薄いブログ
CIの時間を短くする活動を行っており, 特にその一部のアプリケーションコンテナの継続的 docker buildの改善について書きたいと思います. TL;DR dockerd の内部でイメージの子についての情報を持っている イメージ自体は親の情報しか持ってない cache対象のイメージは, 親イメージの子の中にcompare で同一とみなされる最新のもの 同一のものかどうかと言うのは命令, LABEL, ENV, ENTRYPOINT, EXPOSE, VOLUMEが変更されていないということ COPY, ADDは内部的にコマンドにコメントを埋め込む. そのコメントの中にコピーするファイルのハッシュが含まれている. コピーするファイルのハッシュが変わった場合に命令(に付随するコメント)が変わるのでcacheがbustedになる 前提 アプリケーションはすべてコンテナ化されている CI上でコ
Docker レイヤーキャッシュで、"スピンアップ" 時間が短縮されない理由
Docker レイヤーキャッシュ (DLC) は、CircleCI で Docker イメージのビルドを高速化する機能です。 Docker executor のビルドイメージキャッシュは、'Docker レイヤーキャッシュ' ではありません。Docker executor を使用してビルドをローンチする場合、CircleCI はユーザーの .circleci/config.yml に指定された Docker イメージを、Docker Hub からプルします。 ジョブで使用されるホスト上に、そのイメージのレイヤーがキャッシュされていれば、そのキャッシュが使用されます。 このため、一般に使用され、CircleCI のホストにキャッシュされている可能性が高い、CircleCI のビルド済み Docker イメージの使用をおすすめします。 イメージのいくつかのレイヤーがホストにキャッシュされている
Embulk on DockerでCloudFrontログをParquet形式に変換する | DevelopersIO
ども、大瀧です。 CloudFrontのログをAthenaで効率良く見たいと思い、Parquet形式に変換する手段としてOSSのバルクローダ EmbulkをEC2上のDockerで実行してみました。その様子をレポートします。 Apache Drillで変換する様子は石川のエントリーを参照ください。 Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent ｜ Developers.IO Dockerイメージの設計、作成 Dockerイメージの作成はそれぞれのDockerfileをGitHubリポジトリにアップロードし、Docker Hub Automated Buildを利用しました。 作成されたDockerイメージは公開されているので、試したい方は記事後半の動作確認の手順に従い、イメージをダウンロードしてご利用ください。 Embulk実
gcloud docker は Docker 18.03 以降をサポートしないらしい。 | blog.dnpp.org
概要 gcloud auth configure-docker してやると、今まで gcloud docker -- image pull してたところを docker image pull でよくなる。 CoreOS で Google Cloud SDK を Docker から利用しているとややこしい。 gcloud auth print-access-token でトークンを取って docker login するしかなさそう。 (追記 : 2018/5/28) docker-credential-gcloud を自前で書いて PATH の通った /opt/bin に用意すると全てが綺麗に解決する。 詳細 4月くらいには気付いていたんだけど時間がなくて直せてなかったものを直した。 いつものように WARNING: `gcloud docker` will not be supported
ユーザー名前空間でDockerコンテナのrootとホストのユーザをマッピングする | Unskilled?
Dockerデーモンをユーザ名前空間を有効にして起動する さてカーネルでユーザ名前空間を有効にし、subuid、subgidファイルも準備したら、Dockerデーモンもユーザー名前空間を有効にして起動する必要があります。 systemdで管理している場合、serviceファイルにてDockerデーモン起動を行っているかと思います。 そのため、docker.serviceを編集して起動オプションを付加することができます。 docker.serviceは以下のディレクトリに入っているかと思います。 /usr/lib/systemd/system/ ファイルにはいくつかの設定が書かれていますが、ExecStartを探してください。 @MINOの環境では以下のように記述されていました。 ~~~~~~~~ ~~~~~~~~ ExecStart=/usr/bin/dockerd -H fd:// ~~
docker公式イメージのタグのリストを取得する - 廃墟
元ネタの記事は以下のものです。 DockerHubのイメージのタグ一覧をコマンドで取得する | Mazn.net 本記事は、ちょっとだけ説明を足したり自分の環境向けにコマンドを弄ったメモです。 yumみたいに簡単なコマンドがないか調べたんだけど公式の方法は用意されてないみたいなので以下のようにする。 僕はMacOSX上のzshで実行してるけど、まぁマトモなシェルが動く環境なら動くんじゃないかな。 curl -s https://registry.hub.docker.com/v1/repositories/php/tags | json_pp | grep name | grep 5.6.30 この例では、公式のphpイメージ https://hub.docker.com/_/php/ のタグをリストアップして、その中で名前に5.6.30を含むものを表示している。 phpの部分に別なパッケ
Setting Up Docker for Windows and WSL to Work Flawlessly
Learn Docker With My Newest Course Dive into Docker takes you from "What is Docker?" to confidently applying Docker to your own projects. It's packed with best practices and examples. Start Learning Docker → Updated on December 4th, 2020 in #dev-environment, #docker Setting Up Docker for Windows and WSL to Work FlawlesslyWith a couple of tweaks the WSL (Windows Subsystem for Linux, also known as B
公式のRubyのDockerイメージのbundlerの挙動
少しハマったので備忘録。公式のRubyのDockerイメージを使うとbundler経由でインストールしたものをボリューム用コンテナで永続化しても二回目以降の起動時でうまく反映されない事象が起きました。 具体的には以下の手順でエラーが発生しました。 コンテナを立ち上げてコンテナ内に入り、bundle install –path=vendor/bundle で依存ライブラリをインストール。vendor/bundleはボリュームコンテナで永続化している。 bin/rails sでサーバ起動できることを確認 コンテナを再起動し再度コンテナ内に入り、bin/rails sでサーバ起動する。vendor/bundleはボリュームコンテナで永続化しているはずなのでbin/rails sを叩けば起動できるはず… が、エラーで落ちる Dockerfileとdocker-compose.ymlはこんな感じです
Railsアプリ開発のためのDocker/Kubernetes入門6 Helm編
RailsアプリケーションをKubernetes(以後、k8s)で運用できるようにするための手順を書きます。 この記事はシリーズ連載記事の第六回です。 第一回 Docker編 第二回 Docker Compose/Dockerfile編 第三回 Kubernetes入門編 第四回 Kubernetes基礎編 第五回 Kubernetes応用編 第六回 Helm編 はじめにHelmについて簡単に紹介した後、 前回の Kubernetes応用編 で作成したマニフェストをもとにHelmチャートの作り方を説明します。 サンプルコードは全て下記のリポジトリにあります。 https://github.com/kwhrtsk/rails-k8s-demoapp 前提 macOSでの作業を前提としています。 使用したツールのバージョンなどは 初回 の記事を参照してください。 ツールのインストール手順は 第
Home
Control costs Optimize infrastructure Elevate cloud performance Gain full visibility into your cloud infrastructure and automate continuously for optimal performance, cost efficiency, and resource availability. Get started Why choose Spot by NetApp? AI-powered solutions to automate and optimize your cloud
Unix プロセスと Docker の罠
子プロセスを生成する方法として、fork が挙げられます。 fork は、プロセスのコピーを生成するシステムコールで、コピーされた新しいプロセスを子プロセス、fork の呼び出し元のプロセスを親プロセスと呼びます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker and IPv6
Dockerコンテナのログは標準オプションでローテートできる - Qiita
Proxy環境下のDockerトラブルシューティング - Qiita
List of Docker Volume Drivers