This article explains how to collect Docker logs and propagate them to EFK (Elasticsearch + Fluentd + Kibana) stack. The example uses Docker Compose for setting up multiple containers. �� V Elasticsearch had been an open-source search engine known for its ease of use. Kibana had been an open-source Web UI that makes Elasticsearch user-friendly for marketers, engineers and data scientists alike. NO
TLDR In docker-compose, what's the difference between volumes: - type: volume source: mydata target: /data and volumes: - type: bind source: mydata target: /data ? The question in long: When you specify the volumes option in your docker-compose file, you can use the long-syntax style According to the docs, the type option accepts 3 different values: volume, bind and tmpfs: I understand the tmpfs o
Dockerを使うにあたってDockerfileは必要か
タイトルの Dockerを使うにあたってDockerfileは必要か と本文の docker-composeを使用する場合、Dockerfileは不要なのでしょうか？ は、レベル感の違う話なので、本文の質問にフォーカスして回答します。 docker-composeを使用する場合、Dockerfileは不要なのか docker-composeを使用するからといってDockerfileが不要になるわけではないので、 こちらの質問に対する回答はNoです。 Dockerfileとは何かが理解できればおそらくスッキリされるのではないかと思います。 Dockerfileは一言で言うとDockerイメージを作成するための一連の手順が含まれた単なるテキストファイルです。 なのでご自身でDockerイメージを作成しない（第三者が作成したDockerイメージをそのまま使う）場合は不要となります。 Docker
docker-composeでJupyterLabを立ち上げるセットです。 ちょっとしたpythonのコードやパッケージの動作確認に使います。 立ち上げセット: https://github.com/k8shiro/my-jupyter-notebook 使い方 起動 接続 立ち上げたホストへブラウザからポート番号8888を指定して接続してください。 JupyterLabのログイン画面のパスワードは docker-compose.ymlのJUPYTER_PASSを変更(default: password)することで設定できます。 その他 hostからコンテナに渡したいデータがある場合は./dataに格納。 host側の./ipynb/は/home/jovyan/workにマウントされている。 ./dataと./ipynbは適切にpermissionをつけてください。 pythonのパッケー
Docker で PHP + PHP-FPM × Nginx × MySQL の開発環境を構築 - Qiita
本記事では、Docker を用いて PHP の開発環境を構築します。Docker に詳しくない方でも理解しやすいように、Docker の基礎概念と用語も解説しています。 本記事は、お使いのパソコンで Docker が利用できる状態であることを前提としてます。 まだ Docker をインストールされてない場合は、下記のリンクから Docker の公式ウェブサイトにアクセスし、使用している OS に合った Docker をインストールしてください。 Get Started with Docker - Docker Docker とは Docker は、ホストマシン上でアプリケーションやサービスを隔離された環境で実行するために使用されるツールです。 Docker を使用することで、ホストマシンの環境に影響を与えることなく、開発環境を構築したり、アプリケーションをデプロイしたりすることができます。
docker-compose.yml書き方
はじめに くーばねてすをやっつけるために新たなステージに上がるためについにdockerさんに会いに行くことにした。dockerさんと仲良くなることでコンテナシステムの仕組みの理解とくーばねてすを倒すための調査をする。まとめて構築するのにはdockerComposeを使用した。今回はdockerComposeのYAMLファイルの書き方を勉強する 概要 ■dockerComposeのYAMLファイルな中身の意味 ■YAMLファイルの書き方 ■POINT をまとめた(>_<) ■dockerComposeのYAMLファイルの中身の意味 で作成したdocker-compose.ymlファイルの意味を勉強する。 version: "3"① services:② wordpress-db:③ image: mysql:5.7 networks: - wordpressnet volumes: - db
背景 docker-composeを利用するときに、コンテナ・ホスト名・データボリューム・ネットワーク名などの名前を指定しないと、自動的に名前が生成される。 あくまでも個人的な見解だが、ルールを覚えない限りは以下のような面倒な点があると考える。 作成されたものの名前を確認する必要がある。 意図せずにデフォルトネットワークが作られる。 コンテナ間通信するときのFQDNはコンテナ名がわからない。（これについては別ページで別途記載するが、サービス名でも通信できた） 自動生成されたデータボリュームがわからないので紐づけを確認する必要がある。 コンテナとデータボリュームの関係を確認するには以下の方法があるが、どちらもコマンド自体覚えるのが面倒。（他にもあるかもしれないし、alias作れと言われればその通りだが、ある程度覚えておかないと新しい環境で再度aliasの設定内容を調べないといけない） doc
sailで作ったpostgresのデータベースに接続する sailでのlaravelのインストール 終わっている方は飛ばしてください。
名前からすると日本の古き良き（悪名高い）デバイス認証方式のあれのように見えますが、パスワードレスな認証(passkey)を実現するOSSのプロダクトです。Go製でライセンスはAGPL3です。なかなか面白そうなので動かしてみました。 https://www.hanko.io/ このhankoのメンバーが運営しているpasskeys.ioというウェブサイトもあり、パスワードレスなログインを広めていこう！という啓蒙サイトになっています。 https://www.passkeys.io/ この↑のサイトの存在を知らなかったのですが、@takuan_oshoさんからタレコミをいただきました。ありがとうございます。 動かし方READMEに書いてある通りにdocker composeで一通り必要なものを起動します。 $ docker compose -f deploy/docker-compose/qu
Dockerizeを使ってDocker Composeのコンテナの起動順を制御する インフラストラクチャ 2019年9月17日 作成2019年9月17日 更新 概要Dockerizeを使ってDocker Composeで起動するコンテナの順番を制御する方法についての覚え書き。 github.com - jwilder/dockerize なぜDockerizeを使うのかDockerizeではなく、wait-for-it というピュアなbash scriptを使った方法も採用することもできる。 cf. Docker-docs-ja - Compose の起動順番を制御 Dockerizeを使う目的は複数コンテナを起動する際、コンテナの起動順を意図的に制御したいようなときである。 例えば、アプリケーション用のコンテナとテスト用のデータベースコンテナがあったとして、アプリケーション側のコンテナが
公開日 2021.10.10更新日 2021.10.11カテゴリ：Pythonタグ：Python,JupyterNotebook
docker-compose.yml に環境変数を渡す
docker-compose.yml services.shell.environment に環境変数をパスしたいとします。 変数 TOP_TOKEN を .env ファイルに記述します。 version: '3' services: shell: build: ./shell volumes: - ./shell:/src image: shell environment: TOKEN: '${TOP_TOKEN}'
CentOSでMySQLを動かせるようにするまで ~docker docker-compose~｜SHIFT Group 技術ブログ
はじめにこんにちは、SHIFT の開発部門に所属しているKatayamaです。今期から転属になり、開発を担当していくことになりました。 現在、基本的な事から学ぶ研修中です。開発部門では新しく学ぶことがたくさんあり、それらを自身の振り返りアウトプットとして発信していけたらと思います。記事が溜まったら、noteのマガジンにもまとめる予定です。 ■前提条件・virtualbox で CentOS のディスクイメージで Linux 環境を構築済み # cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) ■docker で MySQL Server を起動する・docker のインストールまずは CentOS を最新化する。 # yum update # yum upgrade OS requirementsに The cento
DockerでNginx, Tomcat, MySQL環境作成 - 元営業WEBエンジニアのアプリ開発日記
概要 今日はdockerを使ったjavaアプリ作成のためのローカル環境について書きます！ ちなみにこれから書く内容はMacBookPro × Docker18.06.0-ceで検証済したものとなります。 docker構成 作成したdocker-compose.ymlやDockerfileはこんな感じ ディレクトリ構成 . ├── docker │ ├── mailcatcher01 │ │ └── Dockerfile │ ├── mysql01 │ │ ├── Dockerfile │ │ └── config │ │ └── charset.cnf │ ├── nginx01 │ │ ├── Dockerfile │ │ └── conf │ │ └── nginx.conf │ └── tomcat01 │
とあるシステムをDocker-Composeで構築し、運用していました。 サンプルとして、gitbucketをpostgresqlで運用したものを上げます。 中身はこんな感じです。 version: '2' volumes: gitbucket_postgres_data: driver: local gitbucket_data: driver: local services: # gitbucket postgres gitbucket_postgres: restart: always image: postgres:9.6 volumes: - gitbucket_postgres_data:/var/lib/postgresql environment: POSTGRES_PASSWORD: passwd POSTGRES_USER: gitbucket POSTGRES_DB:
【docker-compose】env_fileとenvironmentの違い。環境変数適用の優先順位について - Qiita
【docker-compose】env_fileとenvironmentの違い。環境変数適用の優先順位についてDockerdocker-compose 個人用メモです。 env_fileとenvironmentはどちらもdocker-compose.ymlでrun時に環境変数を指定する。 run（コンテナ作成）時のみ適用される。 build（イメージの作成）では使われない build時に環境変数を指定したい場合は、build -> argsを使う。
【Docker】第5回 マウントについて（bind）/札幌のAI・IoT・システム開発｜ITイノベーション/最先端技術｜パブリックリレーションズ
Dockerの「マウント」について 今回は、Dockerにおける「マウント」について確認していきます。 「マウント」とは、ホスト側（コンテナの外）にあるディレクトリ・ファイルを、コンテナの中から利用できるようにする機能です。 マウントには３つの種類があります。 １．バインドマウント（bind） Dockerホストのファイルやディレクトリをコンテナ上にマウントする機能です。 バインドマウントを行うと、コンテナの外にあるファイルを、コンテナの中から読み書き可能になります。 ２．ボリュームマウント（volume） Docker が管理するデータ領域を コンテナ上にマウントする機能です。 バインドマウントとの違いは、バインドマウントが「Dockerが管理するデータ領域以外もマウント可能である」ことに対し、ボリュームマウントは「Dockerが管理するデータ領域内でのマウントのみ可能である」という点で
docker-compose.ymlで相対パスを使いたい & 日本語環境postgresコンテナのメモ - Qiita
Creating postgresql_6543 ... error ERROR: for postgresql_6543 Cannot create container for service postgresql: failed to mount local volume: mount ./docker/postgres/data:/var/lib/docker/volumes/blog_pg-volume/_data, flags: 0x1000: no such file or directory ERROR: for postgresql Cannot create container for service postgresql: failed to mount local volume: mount ./docker/postgres/data:/var/lib/docker
ども！今回は、ゼロからReactの環境をVisual Studio Codeのdevcontainerで開発できる環境を作る技術ログを作成しています。Nodeを扱う上で、node_modulesをコンテナ内に収めて快適な開発環境を実現しています。Dockerで環境を作るのは後続の開発者のためですぞ！！ ご挨拶 どもども！週末にスノボをして体中がバッキバキになっている龍ちゃんです。体の痛みで目が覚めたのは久しぶりですね。程よく執筆に対してもギアを上げていきます。 さて、今回も環境構築系の記事になります。具体的には「Visual Studio CodeのdevcontainerでReactを開発する環境」を作る内容になります。基本的な流れは、先日執筆した「Nest.js『だけ』をdevcontainerで構築する：ゼロから始める環境構築」と同じ流れになります。Reactの環境構築はViteでサ
DockerCompose を用いて起動順序を制御する
初めに Docker を用いた開発環境が主流になってきているが、起動順序を意識されていないことが多くまれに起動に失敗する。起動順序の制御方法を Docker Compose の公式ドキュメントと Compose Specification と実装を参照し、起動順序による起動の失敗が起きない環境の設定方法をまとめる。 公式ドキュメントを読む まずは公式ドキュメントの(Control startup and shutdown order in Compose)を参照する。 ドキュメントには下記のように記載があり depends_on オプションのことが記載されている。 You can control the order of service startup and shutdown with the depends_on option. Compose always starts and st
勉強中に「ちょっと使い捨てのMySQLのデータベース欲しいな..」となったときのdocker-composeファイル - Qiita
version: "3" services: db: image: mysql:5.7 ports: - "3306:3306" environment: MYSQL_DATABASE: playground MYSQL_ROOT_PASSWORD: password command: --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci これ↑をちらっと書いてカレントディレクトリに置き、 docker-compose up -d でMySQLサーバが立ち上がります。 設定は見ての通りですが (ローカルから見える)ポートは 3306 rootのパスワードは password デフォルトで作られるDB名は playground デフォルトで作られたDBのcharsetは utf8mb4 <= ここが書きたくて
CentOs8にDocker Composeをインストール
CentOs8にDocker Composeをインストール 作成日 2019.10.16 更新日 2020.07.21 centos8 docker centos8, docker
DockerでPostgreSQLを使う - Qiita
本番環境ではDBはコンテナ化することは少いと思いますが、諸事情によりメモ。 前知識 Docker環境でPostgreSQLを扱う場合に事前に知っておいたほうが良い知識。 /docker-entrypoint-initdb.d/ PostgreSQLのイメージ(MySQLも）では、/docker-entrypoint-initdb.d/以下に置かれたファイルを起動時に実行する仕組みがあり、これらを利用してDBの初期設定・初期データの作成などを行うことができる。 サーポートされている拡張子は.sh, .sql, .sql.gzみたい。 /var/lib/postgresql/data PostgreSQLのデータ保存場所のパスは/var/lib/postgresql/dataとなる。これをローカルにマウントしてデータの永続化を行う。 基本 起動 まずはシンプルにPostgreSQLをDocke
version: '3' services: rundeck: image: rundeck/rundeck:SNAPSHOT links: - mysql environment: RUNDECK_DATABASE_DRIVER: com.mysql.jdbc.Driver RUNDECK_DATABASE_USERNAME: rundeck RUNDECK_DATABASE_PASSWORD: rundeck RUNDECK_DATABASE_URL: jdbc:mysql://mysql/rundeck?autoReconnect=true&useSSL=false RUNDECK_GRAILS_URL: http://example.com:4440 volumes: - ${RUNDECK_LICENSE_FILE:-/dev/null}:/home/rundeck/etc/ru
はじめに ECSでDocker Composeを利用してタスク定義をしたい場合、ECS CLIを利用すると思います。 その際環境変数に初期パスワード等を入れたくても、平文で登録するわけにはいないので困るケースがあると思います。 その解決策として、ECSでは環境変数の値をParameter Store(Secure String 含む)とSecrets Managerの値を利用することができます。 それによりDocker Compose内に機密情報を記載する必要がなく、またParameter Store(Secure String)またはSecrets Managerで暗号化された状態で管理できるので、セキュアに機密情報を管理することができます。 今回はecs-cli composeを利用した際に環境変数にParameter Store(Secure String)を利用する方法を記載します
version: '3' services: vuls: image: vuls/vuls volumes: - ~/.ssh:/root/.ssh:ro - ./:/vuls - ./vuls-log:/var/log/vuls depends_on: - db cve: image: vuls/go-cve-dictionary volumes: - ./:/vuls - ./vuls-log:/var/log/vuls depends_on: - db oval: image: vuls/goval-dictionary volumes: - ./:/vuls - ./vuls-log:/var/log/vuls depends_on: - db gost: image: vuls/gost volumes: - ./:/vuls - ./vuls-log:/var/log/vuls
今回はBeatsで様々なログを収集。elasticsearchに格納。kibanaで可視化する環境までをdocker-composeで構築します。 docker-composeで構築するモチベーションとしては dockerを使って簡単にデプロイ docker-composeだと構築設定をファイルで保存できる なお、docker使わないで構築するならばElastic StackはElastic Stack製品ページからダウンロードして使うことができます。 本記事では手順のみ示します。設定ファイルの内容はドキュメントを読んで理解してください。 また、この記事で記している設定はあくまでも、お試し用です。本番運用の際は様々な観点からチューニングする必要があります。 構築環境 構築に使用した環境は以下の通り CentOS Linux release 7.4 Docker version 18.03.
Docker Compose に渡す環境変数に .env 以外のファイルから渡したいと考えたのでメモしておきます。 経緯 アプリケーション開発環境等で開発環境用の .development.env と本番環境用の .production.env を用意したとして、この2つのどちらかから Docker Compose に環境変数を渡したい。 開発環境なのでアプリ側で使用する環境変数と Dockerコンテナ 内で使用する環境変数を統一したい、と。 ただし、デフォルトでは Docker Compose は .env からしか環境変数を読み取ってくれません。これをどうにかしたい。 コマンド > docker-compose --env-file .development.env up -d ということでコマンドですが、 docker-compose コマンドに --env-file でパラメータを
LXC コンテナ間の通信でホスト名を使いたい。 LXC のコンテナ間の通信で、IPアドレスをいちいち調べるのがめんどくさい。 docker-compose に記載したホスト間なら、ホスト名でアクセスできるので、おなじことをLXCでやりたいなと思ったら。 調べたら→出来る 出来るじゃん！！！ ホスト名.lxc でアクセス ping my-container-01.lxc これで出来ることがわかる。 コンテナ間で、役割分担をするとき、とてもべんりである。 例えば、次のようなlxc コンテナが立ち上がっているときに takuya@:~$ lxc list +---------------+---------+----------------------+------+-----------+-----------+ | NAME | STATE | IPV4 | IPV6 | TYPE | SN
新着記事一覧 | EBlog
WEBエンジニアとして働いています。 最近仕事で使用している技術はPython/Django、PHP/Laravelなどです。 WEB開発について発信したいと思います。 ご連絡を取りたい方はツイッターからお願いします。
hsbt.org で動かしている Ruby を 3.1.0-dev にした, podman-compose で docker-compose.yml を扱う術 - HsbtDiary(2021-09-02)
■ hsbt.org で動かしている Ruby を 3.1.0-dev にした この日記を含めて Ruby 3.0.2 --jit オプションで動かしていたんだけど、アクセスが増えるなど何かの契機で SEGV が起きるということが今朝の podman のエントリで頻発してしまった。 https://bugs.ruby-lang.org/issues/18142 @k0kubun に相談したら master で発生するかみてくれませんかということだったので 3.1.0-dev をビルドして Ruby を切り替えたら SEGV は消えて快適に動くようになった。割と高負荷な状況でだけ再現するので特定はむずいっぽいけど、3.0.2 には --jit 周りで不具合があるよということがわかった出来事でした。 ■ podman-compose で docker-compose.yml を扱う術 一日経っ
docker-composeを用いた複数コンテナのapi(Golang)にgo modulesを導入する - Qiita
概要 docker-composeを用いた複数コンテナを利用していました。 このうちの１つがgolangで作成したapiだったのですが、このapiにgo modulesを導入しようとして少しハマったので解決策を共有します。 そもそもgo moduleとは 一応前提の話をしますと、go modulesを使うことによって$GOPATHを気にすることなくpackageをimportすることができるようになります。 package mainだけで完結している軽いアプリケーションなら不要ですが、packageを分割したい際にはgo moduleを導入するといいかもしれません。 スタック フォルダ構成 article ├ client ├ api │ ├ main.go │ ├ // 省略 │ ├ go.mod │ ├ go.sum │ └ Dockerfile ├ nginx └ docker-co
前回 Azure Container Instances にデプロイするまでをトライしました。ステートレスなコンテナならば十分だったりしたのですが、やはりデータを保持したいのでデータベースをコンテナで用意してみることにしました。 Azure のマネージドなデータベースのサービスを使う方法も当然あります。むしろ自身のメンテナンスコストを下げていくには積極的に使った方がいいでしょうね。今回は規模も大きくなくこぢんまりと趣味用データベースという位置づけでコンテナで用意する方法を採用しました。 Azure Storage を用意 永続化のために Azure Storage でストレージアカウントを作成し、コンテナ側でもマウントできるものを用意しました。今回の場合はファイル共有で作成しました。実際には前回に引き続き、docker のコマンドで操作をして、このときには以下のコマンドでした。 docke
背景 docker-composeを利用するときに、コンテナ・ホスト名・データボリューム・ネットワーク名などの名前を指定しないと、自動的に名前が生成される。 あくまでも個人的な見解だが、ルールを覚えない限りは以下のような面倒な点があると考える。 作成されたものの名前を確認する必要がある。 意図せずにデフォルトネットワークが作られる。 コンテナ間通信するときのFQDNはコンテナ名がわからない。（これについては別ページで別途記載するが、サービス名でも通信できた） 自動生成されたデータボリュームがわからないので紐づけを確認する必要がある。 コンテナとデータボリュームの関係を確認するには以下の方法があるが、どちらもコマンド自体覚えるのが面倒。（他にもあるかもしれないし、alias作れと言われればその通りだが、ある程度覚えておかないと新しい環境で再度aliasの設定内容を調べないといけない） doc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker Compose | 1.0 | Fluentd
Difference between docker volume type - bind vs volume
【docker-compose】JupyterLab立ち上げセット
docker-composeで作成されるものの名前を明示的に指定する方法 - Qiita
sailで作ったpostgresのデータベースに接続する
パスワードレスな認証を実現する認証ミドルウェアのhanko | フューチャー技術ブログ
bmf-tech.com - Dockerizeを使ってDocker Composeのコンテナの起動順を制御する
Jupyter Notebook で Python を書くためのコンテナ開発環境を作成する
https://localhost%3A4000%7B%7B%20site.baseurl%20%7D%7D/engine/install/centos/
docker-composeでマウント先を間違えると大変なことになる。 - Qiita
Reactをdevcontainerで構築するまで：ゼロから始める環境構築 | SIOS Tech. Lab
docker-composeでRundeckを起動してみる - Qiita
ecs-cli compose で環境変数にセキュア情報を利用する方法 – TECH4ALL
Vulsをdocker-composeで手っ取り早く使う - Qiita
Docker-composeでElastic Stackを構築する - Qiita
Docker Compose に渡す環境変数ファイルを変更する
lxc 間の通信で ホスト名を使って直IPを避ける - それマグで！
Azure Container Instances で簡単デプロイ (2)
docker-composeで作成されるものの名前を明示的に指定する方法 - Qiita