要約 Docker in Docker な CI では、以下の Docker Build をオススメします。 スクリプト Buildx を使う Buildx を使えないならば、BuildKit + –cache-fromオプションを使う Dockerfile ステージ間の依存を弱くする(依存インストールとビルドを分ける) 中間イメージも軽量化する 不要なキャッシュを削除 ファイル変更差分によりますが、これらにより最大 1/3 へビルド時間を短縮しました。 はじめに 『ホットペッパービューティー』美容クリニックのカウンセリング予約サービスのバックエンドを担当している安達です。 新卒として 4 月に入社して、5 月中旬に美容クリニックに配属され、すでに約 4 ヶ月が過ぎました。 まず、チーム内で自分が活躍できる庭を作りたかったため Docker について詳しくなろうと思いました。 そこで、CI
FROM base # rubyインストールに必要なパッケージを用意 RUN apt-get update RUN apt-get install -y --force-yes build-essential curl git zlib1g-dev libssl-dev libreadline-dev libyaml-dev libxml2-dev libxslt-dev # rbenv, ruby-buildをインストール RUN git clone https://github.com/sstephenson/rbenv.git /root/.rbenv RUN git clone https://github.com/sstephenson/ruby-build.git /root/.rbenv/plugins/ruby-build RUN ./root/.rbenv/plugins
Docker for Mac がずいぶん良いらしいので、Docker で Rails アプリを動かしてみた - えいのうにっき
Docker は、以前に「勉強」だけはしていたのだけど「実践」はあんまりできていなかった。でも、ここのところ Docker for Mac の評判がずいぶん良いらしいので、遅くはなったけど「実践」の頃合いかなということで腰を上げてみた。Docker 再入門、ってことで。 Docker for Mac のインストールと Getting Started ここの通りに進めていってみる。Docker for mac は 2016/06/29 現在、public beta。 進めていくなかで、Getting Started の途中にある、hello-world の docker run にて $ docker run hello-world Unable to find image 'hello-world:latest' locally Pulling repository docker.io/l
はじめに 皆さんこんにちは。GitHubの水谷です。GitHubでは、エンタープライズサポートエンジニアという肩書きで、GitHubの企業向け製品であるGitHub Enterpriseのテクニカルサポートをしています。 GitHubは、2018年10月に開催された開発者のためのカンファレンス、GitHub UniverseにてGitHub Actionsを発表しました。2019年4月2日現在、GitHub Actionsはまだ一般提供されている機能ではなく利用申請が必要なベータ版ですが、一般提供に向けて開発が進んでいます。この記事では、一般提供に先立ってGitHub Actionについて実例を交えて詳しく紹介します。 ベータ版について 利用申請の処理が進みベータ版の利用者になると、リポジトリのPull requestsタブの右にActionsタブが現れます。この記事ではActionの実例
こんにちは、Docker 0.91 が出ましたね。 CoreOS でのデータの置き場所をどうすべきか考えていた時に、CoreOS-devで出ていた話です。 なので知っている人は知ってるかも知れません。 全てにおいて使えるパターンではないのですが、運用形態のひとつとして紹介します。 （もちろん、Dockerはどんどん進化しているのでこのパターンは陳腐化する可能性もあります） データの永続化の問題 Docker で悩ましいのはデータの永続化をどうするか？というとこでしょうか. 例：mysql のコンテナを立ち上げる -v オプションをつけて mysql のデータを永続化していますね。 さてこれはこれでよいのですが、Docker の旨みを活かせていませんね。 Docker の特徴はコンテナであり、コンテナにするとポータビリティがあげられるわけです。 上記の方法だと Volume でホストにべった
GitHub ActionsでDocker Buildするときのキャッシュテクニック - cockscomblog?
GitHub Actionsでdocker buildすることが多い。このときのキャッシュをどうするかという話題。 基本 GitHub Actionsでdocker buildしてAmazon ECRにdocker pushする、典型的な.github/workflow/docker-push-to-ecr.ymlはこういう感じ。 name: Push to Amazon ECR on: push: branches: [ 'main' ] jobs: docker: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - uses: docker/setup-buildx-action@v1 - name: Configure AWS credentials uses: aws-actions/configure-aws-c
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か？という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
![Docker入門して機械学習環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b11ffcf9f4021aa000a4e241f26e517441fe138/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190516%2F20190516000848.png)
たまに忘れてコケたり，周りでも困っている人がいるようだったのでメモ． 追記(2020-09-06T11:25+09:00) この記事では仕組みのほうについて記述しており，由来については書いてなかったのですが，ブコメでホームディレクトリがチルダで表記されるようになった由来について幾人かの識者にご指摘いただきました． unix.stackexchange.com ちょうどHOMEキーと同じ場所にチルダキーがあったんですね．ありがとうございました． tl;dr ~/は$HOME/と同義である ~/が$HOME/に，ひいては実際の$HOME/の中身に展開されるのはシェル(e.g. bash, zsh, etc...)の拡張機能 シェルを使わなければその機能は使えないので，手で展開する必要がある シェルを使わない状況: プログラム中からパスをいじるような場合，DockerfileのCMDなど ~--
Nginxへの変更に伴うリバースプロキシのテストの改善 SREグループの菅原です。 クックパッドではブラウザ用Webサイトのリバースプロキシ用のWebサーバとして長らくApacheを使っていたのですが、最近、Nginxへと変更しました。 Nginxへの変更に当たって、構成管理の変更やテストの改善を行ったので、それらについて書きたいと思います。 リバースプロキシのリニューアルについて まず、ブラウザ用Webサイトの基本的なサーバ構成は以下のようになります。 リバースプロキシはELB経由でリクエストを受けて、静的ファイルの配信やキャッシュサーバ・Appサーバへの振り分けを行います。 リバースプロキシとして利用されているApacheは、長年の改修により設定が煩雑なものとなっており、設定の追加や変更にコストがかかる状態になっていました。 また、Apacheの設定ファイルはItamaeでは管理されて
----- 2019/08/18 追記：GitHub Actions が新バージョンで大きく変わったため、新しい記事を書きました。こちらの記事は古い内容なので、新しい記事を参照してください。 www.kaizenprogrammer.com ----- developer.github.com 現在パブリックベータの GitHub Actions が自分も使えるようになったので、いろいろ調べたり動かしてみたりした内容をまとめます。 目次 注意事項 GitHub Actions とは 簡単な例 (Hello, World) ワークフローの設定 workflow ブロック action ブロック needs を使ったフロー制御 uses における Dockerfile の指定方法 ワークフローがサポートしているイベント 秘密情報の設定 GITHUB_TOKEN ビジュアルエディタ ワークフロー
この文章では、私が個人開発で使用しているDockerサーバの管理や、業務でプロジェクトメンバーに開発環境を配布する際に、Dockerfileを書く上で気をつけていることを整理します。 1. Dockerファイルのフォルダには不要なファイルを置かない docker buildは開始時にコンテクスト(現在のフォルダの状態)をDockerデーモンに転送します。具体的には、Dockerfileのあるディレクトリの内容をtarで圧縮し送ります。そのため、Dockerfileのディレクトリに不要なファイルがあるとビルドに余計な時間がかかりよくありません。 とはいえ、プロジェクトフォルダでビルドした成果物をイメージ化するためにDockerfileを含める運用はよくあると思いますので、その場合は.dockerignoreファイルを記述して余計なファイルが転送対象にならないようにします。 .dockerig
1時間でさわって学ぶDocker
Dockerを触りながら学んでいく、初心者向けの記事です。 用語の解説等はほとんどせずに、とにかく触ってみることを目的としています。 Phase 1: Dockerの基本 コマンドを試しながら基本操作を学びます。 Phase 2: Dockerfileをもう少し書いてみる Dockerfileを使って、簡単なWebアプリケーションを作成します。 Phase 3: Docker Composeを使ってみる Docker Composeを使って、複数のコンテナを一括管理します。 Phase 1: Dockerの基本 Dockerの基本的な操作を試してみます。 プロジェクトフォルダの作成 次のコマンドを実行して、プロジェクトフォルダを作成します。
Linuxコンテナの実装の1つとして知られるDocker Engineは、Docker Engine上に構築したアプリケーション環境をノートPCから仮想化されたサーバやクラウドまで、どこでも同じように再現できる軽量なポータビリティが大きな特長の1つです。 しかし多くのサーバアプリケションでは、Webサーバとデータベースサーバなど複数のアプリケーションが相互に依存しつつ連係するシステムとなっているのが現実です。Dockerを用いてこうしたシステムを開発しテストし運用するには、複数のコンテナを1つのシステムとして依存関係やネットワーク構成なども含めて記述し、まとめて構成してくれるツールがあるとより便利なはずです。 Figはマルチコンテナの構成ツール Docker社が買収を発表したOrchard社のツール「Fig」は、こうしたDocker環境におけるマルチコンテナの状態を記述し、構成してくれるツ
Docker盲信してる皆様へ
そもそも便利なのかちゃんと考えてる？ 「日々Dockerfileをメンテして開発環境がこんなに楽になります！」 「Dockerなので本番とも開発者同士でも同じになります！」 馬鹿じゃねーのかｗ？ Dockerfileメンテなんて手順書メンテとかシェルスクリプトメンテしてんのと大して変わらねーよｗ そのDockerfileから作ったものが本番と同一だなんて保証はねーって気づけボケが 本番と同じものを作りたかったら本番からコンテナ作れよ なんでビルド始めちゃうの？無駄じゃん馬鹿じゃん それと「同じDockerfileから作ったものだから環境差異はありません」なんて寝言まだ言ってるの？ yumもaptもリポジトリがセキュリティアップデートやらで変化する以上 いつも同じ結果になるわけじゃねーだろが、（バージョンロックする方法はあるけどめんどいだろ） 本番でもコンテナを使ってますってやつら以外無理し
Dockerに関するキャッシュたち
はじめに Dockerを用いた開発では、適切にキャッシュを用いることで高速にビルド・開発できます。そのための知見は様々な記事で共有されており、ありがたい限りです。 しかし、「Dockerのキャッシュ」と言っても開発時とCI・CDでは行うことが違います。 この記事ではDockerを用いた開発における、各段階のキャッシュ機能を確認したいと思います。 主に「Dockerのキャッシュ」というと以下の4つに分類できると思いますので、それぞれについて解説していきます。 Dockerのレイヤーキャッシュを活かす a. COPY・ADDの順番 b. dockerignoreの設定 c. マルチステージビルド buildkitによるキャッシュ a. --mount=type=cache CI・CDにおいてのキャッシュ a. 前回のビルドキャッシュを持ち越して使う リモートキャッシュ a. 開発者が初めてビル
Dockerfileを書かずにBuildpacksで圧倒的に軽量なDockerイメージを作成する(539MB->245MB) - 🤖
はじめに 2018 年 10 月に Cloud Native Buildpacks は Cloud Native Computing Foundation (CNCF)に Sandbox として受け入れられました。 CNCF には Kubernetes, Prometheus, Envoy, Fluentd など有名プロジェクトも多く受け入れられています。 Buildpacks を使うことで、Dockerfile を書かなくても Docker イメージを作成できます。 また、作成されるイメージはかなり軽量でした。 buildpacks.io 試してみた 今回は、以下のリポジトリの Java アプリケーションの Docker イメージを作成します。 github.com インストール # Mac $ brew install buildpacks/tap/pack # Linux $ wge
【たった1時間半でできる】YouTube動画でDocker基礎 + Laravel開発環境ハンズオン #YYPHP｜湊川あい@わかばちゃんと学ぶ本 発売中｜note
誰でも参加できるYYPHPという勉強会があります。この勉強会の大きな特徴は、毎回内容をYouTubeライブ配信していることです。 もし見逃しても安心。ライブ配信後はアーカイブとして過去回を閲覧できるようになっています。→YYPHP YouTubeチャンネル 今回7/27（金）のテーマは、DockerでLaravelの開発環境を作るハンズオンでした。 動画でわかるDocker Dockerの説明は20分過ぎたあたりから始まります。 （それまではYYPHP自体の説明と、参加者の自己紹介が入っています） 概要DockerでLaravelを起動できるところまでを説明します。 Laradockなどの既に構築されていて複雑化してしまったものだとDockerへの理解がなかなかできないため、この #動画でわかるDocker では、とてもシンプルな形を作ってみます。 目次 ・Dockerとは何か？ ・他の仮
こんにちは、入社 3 年目の SRE の id:kizkoh です。 今年から別のチームに異動になったのですが、以前は Mackerel チームで仕事をしていました。 このエントリでご紹介するのは私が以前担当していた Mackerel での Kubernetes(k8s) クラスタ利用の取組みになります。 はじめに 入社してから約 2 年間 Mackerel チームでサービス運用開発の仕事をしていました。直近のトピックでは 2 月に公開された Mackerel コンテナエージェントの開発、検証のお手伝いとして k8s クラスタでの検証や Mackerel のシステムのコンテナ運用として k8s クラスタ基盤の設計構築に取り組んでいました。 昨年 2018 年は国内で Japan Container Days (今年からは CloudNative Days です)が開催され k8s のトピッ
概要 Dockerの本番環境で秘密情報を使う際に、環境変数を使うことは推奨されてません。 秘密情報を扱うには、コンテナオーケストレーションのsecret supportを使うことが推奨されてます。 Docker Composeには秘密情報を扱うために、secretsがあります。(Docker ComposeのsecretsはDocker Swarmと併用することが前提の機能です) 環境変数で秘密情報を扱う時の問題点 秘密情報を扱う時に、よくある方法として、環境変数を使う方法があります。 (この記事において、秘密情報とはパスワード、APIキーを想定します。) しかし、Dockerのドキュメントhttps://docs.docker.com/get-started/07_multi_container/ には While using env vars to set connection set
シェルスクリプトのテストフレームワーク Bats を試してみた - kakakakakku blog
シェルスクリプトのテストフレームワーク Bats を試してみた． github.com たまにコントリビュートをしている Amazon ECS (Elastic Container Service) のデプロイツール ecs-deploy のテストコードで Bats が使われているので，少し書いたことがあり，もっと詳しく調べてみようと思った． github.com Bats は現在もメンテナンスされている もともとの Bats は sstephenson/bats にあり，現在は bats-core/bats-core に移っている．以下の Issue などを読むと，コミュニティの動きがわかる． github.com github.com インストール Bats は様々なインストール方法がある．まず，用意されている install.sh を試してみた． $ git clone git@gi
前回のエントリで作った Docker イメージ motemen/datastore-emulator は、google/cloud-sdk をベースにしているが、このベースイメージがけっこうな頻度で更新される。とうぜん自分はその追従に手を煩わせる気はなくて、全部自動でやってほしい。 やりたかったこと google/cloud-sdk:x.y.z がリリースされたら、 リポジトリ中の ./Dockerfile と ./alpine/Dockerfile の FROM を google/cloud-sdk:x.y.z(-alpine) に更新し、 x.y.z タグを打って git push することで、 Docker Hub に x.y.z(-alpine) タグとしてリリースする これを自動かつ無料で実現したい。 採用しなかった案: 自分でなんか作る はじめは適当な GitHub Actio
概要 手を動かしながら docker コマンドの基礎を学びます。 Docker イメージを使い、どのようにコンテナを動かすかを理解します。 イメージを自動構築し、Docker Hub にアップロードします。 Dockerfile の基本と、CMD と ENTRYPOINT の違いを理解します。 所要時間は約15～30分です。 発表資料（Dockerライフサイクルの基礎）の中からハンズオン部分だけを抽出したものです（コピー＆ペーストの確認用）。こちらを副読資料として、あわせてご覧ください。 Dockerライフサイクルの基礎 地雷を踏み抜けろ！ http://www.slideshare.net/zembutsu/docker-underlying-and-containers-lifecycle ハンズオン内容 ドキュメントの Get Started with Docker の内容をベースに
Ansible徹底入門は"今"のAnsibleの使い方を教えてくれる再入門書籍 - Copy/Cut/Paste/Hatena
Ansible徹底入門 クラウド時代の新しい構成管理の実現 作者: 廣川英寿,平初,橋本直哉,森田邦裕,渡辺一宏出版社/メーカー: 翔泳社発売日: 2017/02/17メディア: 単行本（ソフトカバー）この商品を含むブログを見る Ansible徹底入門読了。会社での購入稟議完了。Ansible依存の弊社としては会社として持つべき本。— k1LoW (@k1LoW) 2017年3月15日 「Ansible徹底入門 クラウド時代の新しい構成管理の実現」を読了しました。 わたしのAnsibleスペック とりあえず自分のスペックを。 1.5か1.6から使い始めています。 現在は1.9をメインに使っています。 ChefやPuppetはほとんど利用していません。 受託開発をやっているせいか、結構な数のPlaybookを書いてきました。 “今"のAnsibleを教えてくれる Ansible自体は知ってい
初めに この記事は技術進化が5年前くらいで止まっている環境で働く私が、モダンな技術に触れる為に学習したことを記録したものです。 暇潰しに読んでいただければ幸いです 本記事では、 Windows10 Home + WSL2の環境に、Dockerをインストール Golang + GitがインストールされているコンテナをDockerfileで立ち上げる VSCodeからコンテナに接続してHello World の3つを行います。 Dockerとは？ DockerはOracleVM等と同様、仮想環境を提供するソフトウェアです。OracleVMのようにOS全体を仮想化せず、OSの一部とアプリケーションの実行環境をまとめたコンテナと呼ばれる仮想環境を提供します。 コンテナはDockerfileというテキストファイルを元に作成され、Dockerfileが同一であれば、どのOSでも同一の環境を作ることがで
Go製アプリケーションのコンテナ化にはkoを推したい - YAMAGUCHI::weblog
はじめに こんにちは、Google Cloudでオブザーバビリティを担当しているものです。Cloud Operations suiteをよろしくおねがいします。（宣伝終わり） この記事はGo Advent Calendar 2021 その1の22日目の記事です。昨日は @sago35tk さんの「ESP32 向けに TinyGo をセットアップする」でした。TinyGoのコアな情報を日本語で教えてくれるtakasagoさんには本当にいつも感謝しています。 さて、今日はGo製のアプリケーションをdockerlessでコンテナ化できるkoの紹介をします。koは本当にイチオシのツールで、みんなに使ってもらいたいのでぜひ使ってください。 github.com DockerによるGo製アプリのコンテナ化 まず最もポピュラーと思われるDockerを用いた場合のGo製アプリケーションのコンテナ化の方法に
WEBアプリ WEBフレームワークはEchoを利用します。views/index.htmlと、assets/images/orora24O.jpgを読み込んでEC2ローカルに保存した画像を表示するだけページを作成しました。このアプリケーションをEC2インスタンスで実行しWEBサーバとして起動します。 手元でビルドしてEC2へ必要なファイルをコピーする計画です。ディレクトリ構成は以下です。 $ tree . ├── assets │ └── images │ └── orora240.jpg ├── go.mod ├── go.sum ├── main.go └── views └── index.html package main import ( "io" "net/http" "text/template" "github.com/labstack/echo/v4" "gith
【連載】世界一わかりみが深いコンテナ & Docker入門 〜 その1:コンテナってなに？ 〜 | SIOS Tech. Lab
こんにちは、サイオステクノロジー技術部 武井(Twitter:@noriyukitakei)です。タイトルが少々長いのですが、今回はこれからコンテナ、Docker、Kubernetesを始める人のための、入り口的なブログを書こうと思っております。 本記事の対象としては、コンテナとかDockerとかKubernetesって言葉は聞いたあるけど、なんとなくぼんやりとしたイメージを持っている人を想定しております。このブログを読んで頂くことで、少しでもそのイメージがクリアになればいいなと思っております。ちなみに、本ブログではコンテナ、Dockerの細かいオペレーションには触れません。 7回シリーズでお届けする予定で、今回は第1回目となります。 今回はこちら → その1：コンテナってなに？ その2：Dockerってなに？ その3：Dockerfileってなに？ その4：docker-composeっ
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。8月5日（月）～8月11日（日）〔2024年8月第2週〕のトップ30です*1。 順位 タイトル 1位 何十年も売れ続けている定番の日経文庫11冊を編集長が解説 | 日経BOOKプラス 2位 退職代行モームリ累計利用者15,934名分のデータ・利用された企業情報を公開 | 株式会社アルバトロスのプレスリリース 3位 現代的システム開発概論 2024 - Speaker Deck 4位 『ダンジョン飯』原作者：九井諒子インタビュー。完結後だから語れることをたくさん聞きました 5位 世界中の大学のコンピュータサイエンスやプログラミング講座が日本語で学べる「MOOC」（大規模公開オンライン講座）サイトまとめ。2024年版 － Publickey 6位 演奏会のリハで「楽器の調子がおかしい」と話していたら、
Amazon ECS（以下ECS）とFargateを用いて、今までEC2で運用されていたサービスをコンテナ化してECS上で稼働させるプロジェクトをしました。 特に、Fargateは2018年7月3日にTokyoリージョンで使えるようになったばかりなので、情報がまだまだ少なく手探りの状況でした。 Posted On: Jul 3, 2018 AWS Fargate is now available in Asia Pacific (Tokyo) region. https://aws.amazon.com/about-aws/whats-new/2018/07/aws-fargate-now-available-in-tokyo-region/ ECS/Fargateで実現したアーキテクチャ・デプロイ方法の全容とその実装方法を記していきます。以下のスライドにもまとめているのでぜひご覧ください
目次 なぜDockerfileを使うのか？ ADDとDockerfileにおいてのコンテキストを理解する CMDでコンテナをバイナリのように扱う CMDとENTRYPOINTの違い exec format error ビルド時のキャッシュについて: キャッシュが有効なときと無効なとき ある一行でキャッシュが使われなかったらそれ以降のすべての行でキャッシュは使われない 何もしないコマンドを追加してもキャッシュは無効になる コマンドと引数の間に意味のないスペースの入れてもキャッシュは無効となる Dockerfileの行に意味のないスペースを入れてもキャッシュは有効 冪等ではない命令でもキャッシュは効いてしまう ADD以降にある命令はキャッシュされない (ただし、0.7.3以前のバージョンを使っている場合のみ) コンテナをバックグラウンドで動かすハック なぜDockerfileを使うのか？ Do
Docker, Inc is Dead
DISCLAIMER: The views expressed in this article are solely mine. They do not reflect the opinion of my employer, nor that of any group I am affiliated with, sponsored by, or employed by. Please read my Disclaimer before breaking out the tar and feathers. To say that Docker had a very rough 2017 is an understatement. Aside from Uber, I can’t think of a more utilized, hyped, and well funded Silicon
この記事では、Dockerを例に、コンテナログ処理の一般的な方法やベストプラクティスをいくつか紹介しています。 背景 Docker, Inc. 旧社名：dotCloud, Inc）は、2013年にDockerをオープンソースプロジェクトとしてリリースしました。その後、Dockerに代表されるコンテナ製品は、分離性能の良さ、移植性の高さ、リソース消費の少なさ、起動の早さなど複数の特徴から、瞬く間に世界中で人気を博しました。下図は2013年からのDockerとOpenStackの検索傾向を示しています。 コンテナ技術は、アプリケーションの展開や配信など、多くの便利さをもたらします。また、以下のようなログ処理のための多くの課題ももたらします。 1、コンテナの中にログを保存した場合、コンテナが取り外されるとログは消えてしまいます。コンテナは頻繁に作成・削除されるため、コンテナのライフサイクルは仮想
こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部
Docker イメージというと、一般的には既存の Docker イメージをベースにして作る機会が多い。 そうしたとき Dockerfile にはベースとなるイメージを FROM 命令で指定する。 とはいえ、既存のイメージをベースにしない、まっさらな状態からイメージを作ることもできる。 それが FROM 命令に scratch を指定した場合になる。 今回は FROM scratch でまっさらな状態から Docker イメージを作ってみることにする。 試した環境は次の通り。 $ docker version Client: Version: 18.01.0-ce API version: 1.35 Go version: go1.9.2 Git commit: 03596f5 Built: unknown-buildtime OS/Arch: darwin/amd64 Experiment
インフラを意識せずにSaaS開発ができる 次世代PaaS「Hacobune」のオープンβ版を2021年8月12日に無料提供開始 ～8月27日にオンライン発表会を開催～ | さくらインターネット
インフラを意識せずにSaaS開発ができる 次世代PaaS「Hacobune」のオープンβ版を2021年8月12日に無料提供開始 ～8月27日にオンライン発表会を開催～ さくらインターネット株式会社は、PaaS型クラウドサービス「Hacobune（はこぶね）」のβ版を、2021年8月12日よりLabプロダクト※1として無料で提供開始します。 また8月27日にこのたびの提供開始を記念して、オンライン発表会を開催いたします。 Hacobuneは、当社が「インフラを意識しない世界を実現する」をビジョンに開発したPaaS型クラウドサービスです。スタートアップ企業や少人数でのサービスの開発を行うお客さまなど、スモールスタートでの開発に適しています。Hacobuneを利用することで、インフラの構築が不要となり、お客さまはアプリケーションの開発およびアップデートのみに専念することができ、サービスリリースの
golangで書いたプログラムをDockerで動かしOOMが発生した際になるべく情報を残して殺される方法を紹介します。 2020/08/16追記: この記事の内容はgolangに関してはやや現実的ではなくなってしまいました。 詳しくは続編を参照してください。 TL;DR golang製のプログラムは仮想メモリ(VSZ)の確保に失敗するとgoroutineのダンプを吐いて死ぬ DockerのOOMはRSSベースで検出時にSIGKILLを投げてくる Docker利用時にVSZで制限をかけるスクリプトを書いた golang製のプログラムはlinux-amd64において最低でも101MBのVSZを要求する VSZの制限がそれより小さいと当然起動できない 実際のRSSは3MB程度で起動する Background コンテナ内で動いているプロダクション上のgolang製のプログラムが時々OOMに殺されて
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
使っているパソコンを変えても、開発環境を揃えたい時はDockerを使うと便利。ということでDockerでPython環境を作って色々なところで使いまわせるようにします。Tokyo AEC Industry Dev Groupというミートアップグループで行う（行った）ハンズオンワークショップの内容となっています。こちらDockerを初めて使う初心者用の記事となります。 ワークショップ自体は録画してYoutubeにアップしてあります。そちらもよろしければどうぞ。 Dockerとは Dockerとはシステム開発や運用に最近よく使われるコンテナ技術を提供するサービスの一つです。コンテナとは、アプリケーションの実行に必要な環境をパッケージ化して、いつでもどこからでも実行するための仕組みです。自分のコンピュータの環境を汚すことなく、隔離された環境を作ってそこでプログラムを動かすことができるのでトライア
はじめに 本業ではGo,Laravelでバックエンド開発したり、ECS,CDKを使ってDevOps周りを整えようと頑張ったりしてます。 今回はアプリケーションチームがインフラチームにインフラ構築依頼を出さなくても自律して環境構築ができるようにBackstageを利用するプランを考えて実装をしてみました。 対象読者 プラットフォームエンジニアリングに興味がある方 目次 解決したい課題 参考書籍 採用技術 解決策 解決できた課題 解決できていない課題とその解決策 感じたこと 解決したい課題 インフラ構築にかかるコストが大きい 見積もりよりもインフラ構築にかかるコストが大きくなっていました。CDKによるインフラのコード化は行なっていますが、必要な情報を揃えるまでに時間がかかっています。その原因としては以下の２つが考えられました。 アプリケーション担当者とインフラ担当者の間でのコミュニケーションコ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CI での Docker Build のベストプラクティスを考えてみた
railsをdockerで動かしたい場合の構成はどうするべきか - Qiita
GitHubの新機能「GitHub Actions」でワークフローを自動化しよう
Docker でデータのポータビリティをあげ永続化しよう - Qiita
Docker入門して機械学習環境構築 - karaage. [からあげ]
チルダ(~)はどうしてホームディレクトリになるのか - Lambdaカクテル
Nginxへの変更に伴うリバースプロキシのテストの改善 - クックパッド開発者ブログ
GitHub Actions 入門 - 生産性向上ブログ
Dockerfileを書くときに気をつけていること10選 - Qiita
Docker社がマルチコンテナ構成ツール「Fig」を採用。開発した社員2名のOrchardを買収
はてなでのKubernetes利用の取組み - Hatena Developer Blog
Docker Composeの環境変数ではなくsecretsで秘密情報を扱う - Qiita
Dockerfile をベースイメージの更新に自動で追従させる - 詩と創作・思索のひろば
Dockerのライフサイクルを理解するハンズオン資料 - Qiita
レガシーエンジニアによるDocker入門 - Qiita
WEBサーバをコンテナにした際に静的コンテンツはどこへ保存するのか | DevelopersIO
はてなブックマーク開発ブログ
AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ
Dockerfileを書く時の注意とかコツとかハックとか | Kim's Tech Blog
コンテナログ処理の技術的なベストプラクティス：Dockerのケーススタディ - Qiita
はてなにおける機械学習の取り組みについて - Hatena Developer Blog
まっさらな状態から Docker イメージを作る - CUBE SUGAR CONTAINER
golangとDockerとOOM — KaoriYa
私家版 Dockerfile Pattern
DockerでPython実行環境を作ってみる - Qiita
インフラ構築を完全に自動化してみる - Qiita