RustのDockerイメージビルドを高速にする
要約 以下を参考にしましょう。 はじめに Rustは素晴らしい言語ですが、弱点もあります。その弱点の一つが、コンパイルが遅いことです。 特にDockerイメージのビルドにおいては、キャッシュをうまく使わないと、依存関係を含めて毎回すべてをビルドすることになってしまいます。 本稿ではDockerイメージのビルドを高速化する方法について解説します。 従来の方法とその問題点 レイヤーキャッシュの利用 Dockerにはレイヤーキャッシュが存在します。これは入力が全く同じであれば、以前ビルドしたレイヤーを使い回すというものです。 以前から知られている方法として、レイヤーキャッシュをできるだけ有効活用できるように工夫する、というものがあります。例えば以下のような方法です。 簡単に説明すれば、依存ライブラリのコンパイルだけ先に済ませておき、その後で本体のソースコードのコンパイルをするという2段階に分けま
docker/build-push-action v3.3.0で導入されたprovenanceオプションにまつわる問題 - chroju.dev
docker/build-push-actionのv3.3.0 で、 provenance というオプションが入り、デフォルトで有効化された。このオプションについては、 This may introduce issues with registry and runtime support (e.g. GCR and Lambda). という注意書きがされており、一部環境で問題が起きる可能性がある。GitHub Actionsでバージョンをマイナー、パッチバージョンまで指定せずに使っていた場合、自動的にこのバージョンが適用されるため、実際に問題になったという声もTwitterで散見され、自分も一部で引っかかった。 @GitHub Actions runner bumped @Docker buildx today, which has default provenance on. It's
Dockerのボリュームのマウントのされ方についてちょっとまとめました - Qiita
令和(3年3月30日)最新版です。 はじめに Dockerのボリュームの記事は他にもあり大変参考になりますが、情報が古く私が疑問に抱いているところが解消できない部分もあったため改めて調査し記事にしました。 なんかこういう記事を乱立させるのもよくない気がしますが…。 本記事はdocker runにおける-v vol:/volやdocker-compose.yml内のvolumes:による指定を対象に書いています。 tmpfs等の他のストレージ管理方法については言及しませんのでご了承ください。 環境 Ubuntu 20.04.2 LTS Docker verison: 20.10.5, build 55c4c88 Docker Compose version: 1.28.5, build c4eb3a1 ファイルフォーマット: 3.9 参考記事 DockerのVolume機能について実験してみ
【Docker】Ubuntuコンテナで「systemctl」を使うために「/sbin/init」で起動する方法 | インフラエンジニアの技術LOG
DockerでUbuntuコンテナを構築したのですが、DockerはデフォルトでLinux系コンテナに対して制限がかかっているため、「systemctl」などのシステム系のコマンドが使えなかったり、動作しません。 また、Ubuntuは通常だと「/sbin/init」では起動せず、「/bin/bash」で起動します。 この状態だと、以下のように「systemd」が使用するsystemID「1」が「/bin/bash」で使用されており、動作しません。 root@25ea4973ebfb:/# ps -aux USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.1 3744 2916 pts/0 Ss+ 02:30 0:00 /bin/bash root 9 0.1 0.1 3744 2964 pts/1 Ss
M1 MacにおけるDocker Desktopを使わないMultipassを使ったKubernetes環境の構築
Docker Desktopが2022年2月より有料化されるという情報が出てから、 Docker Desktopの代わりとなるツールを色々試していましたが、ようやく個人的に納得のいく代替手段が見つかったので記事にしてみました。 Docker Desktopを継続利用しない理由 私が今までDocker Desktopを利用していたのは k8s 環境を簡単に構築できるからという理由でした。 しかし、k8sとしては以下のような動きをしています。 v1.20からDockerの利用を非推奨にしている v1.24からDockerを完全非対応とする (予定) k8sが何故Dockerを切り離そうとしているのかは、簡単に言うと今までk8sがDockerに対応するために dockershim と呼ばれるブリッジを別途整備していたからで、これを k8s としては今後整備しなくなるためです。 何故dockers
Dockerを使ってElixirの分散システムを気軽に楽しむ - Qiita
分散Erlangシステムを楽しむには複数のPCがあるといいのですが、それだと準備が大変で敷居を高く感じるかもしれません。 Dockerを使えば一つのPC上に複数の仮想ホストを簡単に立ち上げられます。それらを別々のPCに見立てれば、気軽に遊べるのではないでしょうか。 やりたいこと Dockerで仮想Linuxマシンを三つ起動してそれらを別々のPCと見立てる それぞれの仮想Linuxマシンでノードを起動する すべてのノードを接続 後は自由に遊ぶ ノードとは 分散Erlangのドキュメントによると A distributed Erlang system consists of a number of Erlang runtime systems communicating with each other. Each such runtime system is called a node. 分散
M1Mac × Docker × SchemaSpy × MySQL8.0でテーブル定義書とER図を自動生成してみる
M1Mac × Docker × SchemaSpy × MySQL8.0でテーブル定義書とER図を自動生成してみる 2022.10.19 技術 Docker, MYSQL こんにちは、システム部の能勢です。昨年の秋に入社して、今はバックエンドを中心に開発を担当しています。 「この設計資料、最終更新何年前やねん」 「なんか現実と違うんですけど」 こんな言葉にビビビっとくる方いませんか？ 最近はかなり激減したんですが、自分は少なくともエンジニアキャリアの最初の方ではこういう経験をよくしてきたタイプです。 弊社みたいにプロジェクトリリース前にドキュメントを第三者視点できっちり確認されるような体制のある開発現場ではこういうことが起こるのも低頻度だと思うんですが、実際問題世の中にはいろんなタイプの現場がありますし、そこまできっちり管理しきれない・・・こんなホンネが漏れるのが実情という方も多いんじゃ
【備忘録】Elixirを手軽に試したいときに使えるDocker Compose - Qiita
Elixirを手軽に試したいときに使えるDocker Composeのテンプレート（自作）について書きます． 検証環境 OS: macOS Catalina (バージョン 10.15.3) Docker: version 19.03.8 結論 任意のディレクトリに，以下の設定ファイルを配置する． Docker Compose 設定ファイル: docker-compose.yml Docker 設定ファイル: Dockerfile シェルで設定ファイルを配置した任意のディレクトリに移動して，docker-compose up -dするなどしてコンテナを起動します．おしまい． Docker Compose 設定ファイル: docker-compose.yml
docker network rmコマンドの使い方（実例付）
このコマンドは、Dockerネットワークを削除する際に使用します。 コンテナが接続されているネットワークは削除できません。ネットワークの削除を行う場合は、接続されているコンテナを停止、または削除してから行う必要があります。
Macで初めてDockerを使う際に覚えておくと良いこと - Qiita
はじめに DockerをMacに入れた。Docker設定メモを書いて、Dockerに関しての知識が随分深まった。 はじめはdocker-composeを使ってサイトを構築してみる記事を書こうと思ったのだが、あまりにも簡単にできてしまったのでdocker-composeも含めた今まで得た知識をメモとして残しておきます。 この記事は僕のように全くDockerを使ったことがない人向けの記事です。 これからDockerで遊びたい方の役に立てればと思います。 前回の記事の書き直しになっている部分もあります。 Dockerとは？ Dockerの位置付けはVagrantなどと同じ仮想OSに近いポジションにいると思います。 しかし、大きく違う点としてDockerはイメージベースで駆動するため構築や(DockerHubを使用した)コピーが簡単にできるところにあります。 Vagrantとは違いプロセス内で実行
仕事用のPCをMacからThinkpadに変えてUbuntuを入れた - PartyIX
Web系の会社にいると，仕事用のPCとしてMacを支給されることが多いと感じている．例にもれず俺も会社ではMacBook Proを使っていたのだけれど，最近Macが使い物にならないくらい遅くなってきた． そもそもそんなに新しいMacではないというのはあるんだけれど． もはやローカルでの開発はほぼDocker化してしまっているので，なにをするにもDockerを起動する必要がある． しかし，Docker for Macは遅い．とくにvolume mountが遅すぎて，webpackなんか走らせたらお茶を入れに行くくらいの猶予が発生する． ---追記--- webpackだけならdockerじゃなくていいじゃんと言われたので，一応弁明しておくと，webpack以外もあります． DjangoとかElasticsearchとかElasticsearchとかlocalstackとかredisとかDja
dockerでmysqlを使う - Qiita
この記事はもう随分古いので注意してください。 mysql8.0のdocker-comose.ymlを作成したので新しいmysqlを使う方はそちらを参照してください。 dockerでmysql8を使う ### ここから古いです。 ### 公式のmysqlを使えるようにするのにハマったのでメモ。 ※Dockerのインストールが古かったので新しいリンクに変更しました。 Docker for mac install 公式のmysqlイメージを使う docker pull mysql docker run --name mysql -e MYSQL_ROOT_PASSWORD=mysql -d -p 3306:3306 mysql # 接続確認 passwordはmysqlになります。 mysql -h $(boot2docker ip) -uroot -p
DBアクセスで遅くなったテストの実行時間を Docker で 40% 削減した方法 - Qiita
DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテスト中のDBのクエリ実行にかかる時間を削減できます。自動テストが完了するまでの待ち時間を短縮し、開発のフィードバックサイクルをより早く回せるようになります！ MariaDB を用いたプロジェクトの実績では、DBアクセスを伴うテストケースが 153件 ありましたが、この方法によりそのテストスイートのローカル環境での実行時間を約 43% 削減できました（約 145.7s → 約 83.3s）。 どうやって？ Docker で tmpfs を使います。 tmpfs tmpfs とは、ディス
Dockerfileはなぜ複雑になるのか - Qiita
はじめに Dockerfileとは docker imageを作成する際のコマンドをコード化したもの 公式ドキュメント Dockerfileは「コンテナを動かす」ためだけなら簡単に作成することが出来るが、工夫せずに書くと運用上いろいろな問題が発生する。 それらの問題点のほとんどは書き方のテクニックによって回避することが出来るが、それらのテクニックを駆使すると、今度はDockerfileの中が複雑になっていく。 Dockerfileはなぜ複雑にならざるを得ないのか 発生する問題とそれに対するテクニックを例を上げて説明していくことで理解してもらう。 rails5.1 hello world projectを例に説明する。 簡単なDockerfileの例 重要なのはFROMとRUNとCOPYのみ FROM ベースとなるimageの指定 https://docs.docker.com/engine
kafka-docker でローカルに kafka クラスタを構築する - 駄文型
参考 wurstmeister/kafka-docker: Dockerfile for Apache Kafka Kafka Docker Kafka in Dockerで分散メッセージングシステムを構築する - Qiita 環境 OS X El Captain 10.11.6 docker 17.03.1-ce docker-compose 1.11.2 手順 1. Download kafka-docker $ git clone git@github.com:wurstmeister/kafka-docker.git 2. Update docker-compose.yml docker-compose.yml を編集して zookeeper の Port と KAFKA_ADVERTISED_HOST_NAME を変更します。 version: '2' services: zoo
Dockerイメージを試行錯誤しながら作る（PlayFramework環境） - Qiita
この記事の目的 Dockerを布教していたところ Dockerで仮想環境を簡単に起動できるのはわかった。 ただ、Docker Hubに公開されているものならいいが、自作の環境を試行錯誤しながら作りたいときはどうすればいいのか。 というフィードバックをもらいました。 そこで、Dockerで環境を自作する様子を実際に私がたどった手順として公開し、イメージを掴んでもらうこととしました。 今回作成する環境は、Play Frameworkが起動する環境です。 筆者はこのとき初めてPlay Frameworkをインストールした初心者ですが、問題なく構築できました。 「空」のベースコンテナを起動し、インタラクティブに手順を確立していく 「Dockerで自作のイメージを作る」＝「Dockerfileを作成する」です。 ほかにも方法はありますが、環境をコードとして残すことのメリットは大きいため、この方法がお
Docker・コンテナの作成・起動(run、create)
runコマンドのオプションについて コンテナの名前指定 --nameオプションで、コンテナの名前を指定できます。 指定しないと、dockerが適当な名前をつけます。 例 --nameオプション無しでのrunコマンド。dockerが、"insane_brahmagupta"という名前をつけています。 # docker run -itd my:test f4332b9f2b019a63579aae02858c8de3a6a02efc24ead1915feddf8a9c1a4e70 [root@localhost docker]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES f4332b9f2b01 my:test "/usr/local/bin/init." 3 seconds ago Up 2 seconds
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
M1 mac docker error: exec user process caused "exec format error" - Qiita
普通のRailsアプリをdockerで本番運用する知見
Dockerで立ち上げたCentOSでsystemctlを使うとFailed to get D-Bus connection: Operation not permittedと出る - Qiita
