duとdfで出てくるディスク使用量が異なる原因の一つ - Qiita
起こったこと http://qiita.com/Hi-king/items/fe5ac34170c7cdf12cc0 で書いたように肥大化したdockerのログを削除するのには/dev/nullを流し込むのが効果的だが、それをせずにログファイルを直接削除してた。するとディスク容量不足に陥った上に、duコマンドでは消すべきファイルが見つからなくなった。 原因と解決策 http://www.cyberciti.biz/tips/freebsd-why-command-df-and-du-reports-different-output.html に有るように、ファイルディスクリプタが開きっぱなしになっていることが問題だった。この場合ディスク容量は使っているがduコマンドでは見つけられなくなる。 sudo lsof -s | awk '$5 == "REG"' | sort -n -r -k 7
SECKUN 2021/ProSec-IT 2021 コンテナ演習資料（公開版）
SECKUN 2021 pub.md SECKUN 2021/ProSec-IT 2021 コンテナ演習資料（公開版） この資料について 九州大学のSECKUN 2021/ProSec-IT(enPiT-Pro) 2021の共通カリキュラムにおいて、近藤 @udzura が担当したコンテナ概要の授業にて使用した教材です。 https://cs.kyushu-u.ac.jp/seckun/about/ https://cs.kyushu-u.ac.jp/enpit-pro/ 今回、公益性を鑑み、授業固有の連絡事項などを削除した状態で公開します。 ライセンスは Creative Commons Attribution 4.0 International Public License （CC BY 4.0） ref とします。 個人の自学、社内研修、スクールでの授業などでお使いいただけますが、内
Systemdとdocker-composeでカジュアルにdockerを運用する - Qiita
はじめに この記事はDocker Advent Calendar 2017の13日目の記事です。 コンテナ運用はk8sがデファクトにほぼなったような感じはしますが、オンプレのようなマネージドなk8sが無い環境で、コンテナ化を進めるにあたり、いきなりk8sクラスタを作るというのは敷居が高いです。 そこで、少しづつコンテナ化を始める繋ぎとしてdocker-composeとsystemdを使ってカジュアルにdocker運用してみたので、その際のTipsについて記載します。 ちなみにdocker-composeなので当然サーバ間をまたいだオーケストレーションの層は考えず、単に既存サーバのプロセスをコンテナ化して運用することで、まずはサービスの移植性を高めることを目的としています。 docker-composeだけで運用する際の問題点 サーバ単体で複数のコンテナを連携させるにはdocker-comp
DockerComposeで管理されたコンテナをsystemdで動かすときのコツ - Qiita
はじめに DockerCompose は、関連するDockerイメージを複数実行できる便利なものですが、システム上の一部のサービスをdockerで運用するような場合、他のサービスと同様にOS標準のサービス管理機構で管理したくなります。 今回、RedmineのDockerイメージ(sameersbn/docker-redmine)をsystemd経由で実行できるようにしてみました。 単にsystemdで動かすだけなら難しくありませんが、具体的な運用シーンでの要求(後述)を実現するときに苦労したポイントを中心に紹介します。 何を実現したいのか Redmineには、メールによる通知機能があります。筆者の所属する会社では Gmail を使用していますが、送信するだけでもアカウントが必要になります。送信専用の共用アカウントがありますが、そのアカウント情報はあまりばらまきたくないため、社内ネットワーク
コンテナの作り方「Dockerは裏方で何をしているのか？」
1. コンテナの作り方 「Dockerは裏方で何をしているのか？」を理解する入門テキスト Sakura internet, Inc. Masahito Zembutsu @zembutsu CloudNative Days Kansai 2019 #CNDK2019 2019, Nov 28 2. 2 この資料は、「Dockerコンテナ」の初学者を対象とした発表資料を、公開用として 再編集し、解説を加えたものです。 オリジナルは2019年11月28日開催の「CloudNative Days KANSAI2019」です。 ご来場の皆さま、登壇者の皆さま、スタッフの皆さん、大変ありがとうございました。 本資料以外にも、SlideShare で関連するスライドを公開していますので、ご興味 ありましたらご覧ください → https://www.slideshare.net/zembutsu/ ちな
RustのLinux muslターゲット （その1：Linux向けのポータブルなバイナリを作る）
これは Rustその3 Advent Calendar 2019 — Qiita の8日目の記事です。 Rustのx86_64-unknown-linux-muslターゲットを使って、libc（標準Cライブラリ）やSQLiteなどの外部ライブラリに静的リンクしたバイナリを作成する方法を紹介します。 こうして作ったバイナリは、Alpine Linuxを含むさまざまなx86_64 Linux環境で実行できます1。 またUbuntuやCentOSなどの一般的なLinuxディストリビューションを使っている場合でも、実行環境にSQLiteやOpenSSLなどを別途インストールしなくてすみますので、バイナリの配布が楽になります。 さらにこれらを極小のDockerイメージに入れることで、Webアプリケーションなどではデプロイが容易になるかもしれません。 以下の内容を2回に分けて説明します。 今回：Alp
Dockerコンテナ内でpuppeteerを使うとChromeゾンビプロセスがたまる問題 - その手の平は尻もつかめるさ
表題のような問題があり，その調査したという記録です．なお，結論を一言で言うと--initを使え，ということになります． そもそもDockerコンテナを起動すると，CMDあるいはENTRYPOINTに指定されたコマンドがコンテナ内でPID 1として起動します．これが何を意味するかと言うと，「CMDあるいはENTRYPOINTに指定されたコマンド」はそのコマンド自体の責務をまっとうするのと同時に，initプロセスとしての振る舞いも行わなければならないということになります (id:hayajo_77さんにこの辺を詳しく教えてもらいました，ありがとうございます)． つまりPID 1で動いているプロセスは「SIGCHLDをトラップすることで孤児プロセスを適切に回収し，waitpidをかける」という処理も適切に行う必要があります． さて，puppeteerを使ってChromeブラウザを起動するとどうな
ミニキャンプ愛媛でのコンテナ編を実行してみた - script day.log
Outline Outline 仮想化(virutalization) ハイパーバイザ/ホスト型仮想化の違い コンテナはどんなところに使われているだろうか？ コンテナのセキュリティ コンテナの実装 コンテナのメリット/デメリット メリット デメリット コンテナはどうやって実装されているのだろうか？ コンテナはプロセス 自作コンテナ by Haconiwa では，まずコンテナはプロセスなのでforkするところから始めます． Namespaceを分離します cgroupを設定 Capabilityを設定 コンテナへのAttack コンテナのセキュリティ機構 Attack Surfaces スイスチーズモデル AppArmor /sys/kernel/uevent_helper /proc/sysrq-trigger AppArmorの適用 AppArmorによる保護 seccomp secco
Dockerホストのパフォーマンスを引き出すTCPカーネルパラメータチューニング
もう半年くらいフルDockerでmicroservicesなサービスを運用してるんですが、イマイチパフォーマンスを出し切れていないなという面がありまして、今回DockerホストのTCPカーネルパラメータを抜本的に見直しました。 そしたら劇的に症状が改善して、インスタンス数も削減できた上に安定してメシウマ状態になったので紹介します。実際効果があったのでチューニングポイントとしてはある程度正解であったと考えていますが、もちろん扱ってるアプリケーションの特性にもよるはずなので一つのケーススタディであることをご了承頂ければと。 前提 まずは今回のお話の前提を。こんな環境です。 EC2 c3.xlarge ホストはUbuntu（EC2 Optimized AMIは未使用） Docker 1.11.2 MySQL（HAProxy経由）やRedisへのデータストアの通信、各microservicesへの
俺は Linux コンテナについてなんにも解っていなかった 〜 haconiwa で学ぶ Linux コンテナ (1) 〜 - ようへいの日々精進XP
追記 直近の Docker 界隈について Linux コンテナ 参考 Linux コンテナとは Linux コンテナを構成する主な機能 OS リソース毎の Namespace cgroup サブシステム こんなにざっくりでは、Linux コンテナは語れないと思うけど haconiwa haconiwa とは haconiwa で何が出来ると？ haconiwa 導入 はじめての haconiwa (1) はじめての haconiwa (2) 〜 コンテナ作成 〜 はじめての haconiwa (3) 〜 コンテナ起動 〜 haconiwa で学ぶ Linux コンテナ .haco ファイル再掲 namespace を弄る前に namespace uts namespace pid 俺は Linux コンテナについてなんにも解っていなかった(まとめ) haconiwa は Linux コンテ
自作Linuxコンテナの時代 - ゆううきブログ
最近、Docker以外のコンテナ型仮想化技術の流れとして、自作コンテナエンジンの時代が来るのではないかと感じている。 自作コンテナエンジンとは、コンテナ型仮想化技術を構成する個々の要素技術を組み合わせ、自分の用途にあわせて最適化したコンテナエンジンのことだ。 他のOSのコンテナ仮想化技術について疎いため、以下ではLinuxに限定して話を進める。 概要 Dockerも含めて、Linuxコンテナはコンテナを構成する複数の要素技術の組み合わせである。自分のやりたいことに対して、Dockerをはじめ既存のコンテナエンジンが複雑すぎるケースがある。そこで、自分の用途にあわせてコンテナエンジンを自作することを考えてみる。libcontainerに代表されるように、Linuxコンテナエンジンを自作しやすい環境が整いつつある。今後は、巨大なコンテナエンジンに対して、UNIX哲学に基づいて制御可能な小さなコ
軽量イメージ時代を 生きるためのAlpine Linux
2016/04/21 Alpine Linux Meetup #1
Borg, Omega, and Kubernetes - ACM Queue
March 2, 2016 Volume 14, issue 1 PDF Borg, Omega, and Kubernetes Lessons learned from three container-management systems over a decade Brendan Burns, Brian Grant, David Oppenheimer, Eric Brewer, and John Wilkes, Google Inc. Though widespread interest in software containers is a relatively recent phenomenon, at Google we have been managing Linux containers at scale for more than ten years and built
Alpine Linux入門 -環境構築編- - tehepero note(・ω<)
2016 - 02 - 29 Alpine Linux入門 -環境構築編- Linux Alpine 今、Docker界隈では Alpine Linux への注目が急速に高まってきています。 Alpine Linux は非常に軽量な ディストリビューション であり、軽量なDockerイメージを作るために必要不可欠な要素になりつつあります。Alpine Linux の有用性については、この間行われた JAWS-UGコンテナ支部 #4 - connpass でもお話させてもらったので、詳細はスライドをご覧あれ。 お前のDockerイメージはまだ重い💢💢💢 // Speaker Deck Alpineデビューする障壁 Alpineが軽いからといって、そうホイホイとDockerにalpineなイメージを簡単に作れるかというとそうではありません。最初はDockerfileを作るだけで相当消耗し
Alpine Linux入門 -内部構造とapkでパッケージインストール編- - tehepero note(・ω<)
2016 - 03 - 02 Alpine Linux入門 -内部構造とapkでパッケージインストール編- Linux Alpine Docker さて、前回のエントリはAlpine Linux の環境を作ってみる話でした。 stormcat.hatenablog.com 今回は実際にAlpine Linux の中身を探索していったり、apkでのパッケージインストール等をやってみます。 前回使った仮想環境をそのまま利用します。前回の環境構築プロセスはもういいよって人は、 Vagrant Cloudに公開されているbox を使うでもOKです。 各自のAlpine環境に ssh でログインしている前提で話を進めます。 Alpineを探索する まずは素の状態のAlpineがどうのような状態になっているかを確認しておきましょう。Alpineは非常に軽量とされていますが、実際どの程度機能が絞られてい
Linuxカーネル Docker関連 namespaceのメモ – Rest Term
最近はやっとまともにDockerを使い始めたということもあり、基盤技術を追う必要性も強く感じてきました。Linuxカーネルのコンテナ技術周りのコードリーディングを再開しているのですが楽しいです。 環境 * CentOS 7.2 (kernel-3.10.0-327.4.5.el7.x86_64) * Ubuntu 14.04 (3.13.0-77-generic) 読んでいるのはほとんどnamespaceとcgroup周りですけれど、この2つは違う機能なのでごっちゃにして覚えないようにしたいところです。このエントリーではnamespaceについて、利用方法やカーネルの実装なども含めてメモしておきます。 namespace (名前空間) Linuxにおける namespace(名前空間) はプロセスに対して以下の6種類のリソースを分離するための機能として提供されています。 名前空間 定数 概
Dockerとchrootを組み合わせたシンプルなコンテナデプロイツール - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2015の1日目です。今回は、既存の運用フローに乗せやすいDockerイメージへのchrootによるデプロイの考え方と自作のコンセプトツール droot を紹介します。 github.com 背景 Docker 本番導入の課題 Docker 導入の目的 Docker + chroot のアイデア droot: Dockerイメージにchrootするコンテナツール droot の使い方 droot push: Dockerイメージをtar ball化しS3にpushする droot pull: S3にpushしたイメージをダウンロードし展開する droot run: 展開先のディレクトリにchrootする droot の実装 droot push/pull の実装 droot run の実装 あわせて読みたい あとがき 背景 Dockerがリリー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux コンテナの内部を知って ワンランク上のコンテナ遣いを目指そう / JTF2017
Linux コンテナの基礎 / 9th CTStudy
LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術 記事一覧 | gihyo.jp
