A faster, simpler way to run and test AI models locally

Working with Rust, TypeScript, React.js. Focusing on distributed systems, microservices, AI, CUDA, graphics programming, osdev, and no-code.
Docker in Docker したいケース Jenkins などの CI ツールを Docker コンテナ上で動かしたいことがあります。 プロダクト別に Jenkins を分けたい、とか、本番環境と同じ OS 上でテストを実行したい、などの理由で。 Jenkins 上のテストで DB を使用したい場合、テスト用のデータが入った DB の Docker image を作っておいて、テストジョブを走らせる時に Docker コンテナを作成してテストコードから参照できたらいいですよね。 このような場合には Docker コンテナ(Jenkins 稼動)上で Docker コンテナ(テスト用DB 稼動)を動かすことになります。これを Docker in Docker といいます。 Docker in Docker をするには以下に挙げる二つの方法があるようです(参考)。どちらがベターでしょうか
フロントエンドの開発環境を整備すべく、 nodejs と ruby が入ったコンテナがないかな?と探したのだけど、オフィシャルなイメージとしては、nodeのコンテナと、rubyのコンテナが、それぞれ単体では存在するが、両方が載っているものがなかったので、オフィシャルじゃないイメージを使うことにした。 その前に、ふと、Dockerコンテナの中で、Dockerコンテナが動くんだろうか?という疑問がよぎった。 できたとしても、親子の入れ子構造にすると、イメージが肥大化するので、兄弟関係で、動かした方がいいんだろうな・・・ということは、なんとなく想像がつくので、コンテナ間で、 docker exec できないものか?と調べてみる・・・。 そして、Dockerコンテナの中で、Docker Clientは、動くらしくて、ホストOSにある /var/run/docker.sock を共有することで、コン
追記 コードの全体像がわかりにくいって意見をもらったのでgithubにコードおきました。 (りーどみーがわかりにくいとかあればPRいただけると幸せです) https://github.com/togana/sample-rails-docker versionとか少し変わってたりDockerfileの中で実行してるコマンドが少し変わったりしてますが、大きく変わっているところはないので参考にしてください! 追記2 docker-machineの共有ファイルを利用している場合、Rails5からファイル変更しても検知できなくなっていました。 ファイルの変更を検知しているのは config.file_watcher という設定です。 ここがバージョンアップに伴い変更されていました。 ActiveSupport::FileUpdateChecker から ActiveSupport::Evented
おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの? ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm
先日、"Quickstart: Compose and Rails"の手順にしたがいながら、Docker ComposeでRails+MySQLがとりあえず動くような環境を作りました。 blog.kymmt.com 今回は、RailsのAPIサーバの開発環境をもうちょっといい感じにDocker Composeで作ってみます。DBにはMySQL 5.7を使います。 ディレクトリ構成 コマンド rails new sample_app --api --db=mysql でRailsのプロジェクトツリーを作り、ルートに Dockerfile と docker-compose.yml を置きます。 . ├── Gemfile ├── Gemfile.lock ├── app │ └── ... ├── config │ ├── database.yml │ └── ... ├── db
追記 (2018.12.30) PHP5.6, PHP7.1 に加えて、PHP7.2, PHP7.3 にも対応しました! また、PHP から memcached につなぐサンプルを追加しました。 はじめに こんにちは。小西です。開発環境の構築って面倒ですよねー。 今回、PHP, MySQL, PHP-FPM, nginx, memcached のローカル開発環境を、Docker を使ってコマンド一発で作られるようにしたところ、あまりに簡単で驚いたので、その方法をご紹介します。 ソースコードをgithubにおいておきます ので、すぐに起動できます! 開発環境構築のめんどくささ 僕はPHP+MySQL+nginx+PHP-FPMの環境をよく使うのですが、こういった構成をそれぞれのマシンで再現するのって結構面倒なんですよね。1プロジェクトならまだいいですが、大体プロジェクトによってそれぞれのバー
https://amakan.net/ のこの辺の改善の続き。 amakanをUnicornからPumaに移行した - ✘╹◡╹✘ amakanでyarnを使うようにした - ✘╹◡╹✘ amakanでRuby 2.3.3を使うようにした - ✘╹◡╹✘ amakanを Ruby 2.3.3 から 2.4.0-preview3 に移行した - ✘╹◡╹✘ amakanのフロントエンドを色々改善した - ✘╹◡╹✘ amakanをSidekiqに移行した - ✘╹◡╹✘ 環境構築 docker が動く環境なら、git clone して bin/setup を叩けば開発が始められる。 $ cat bin/setup #!/bin/bash set -ex docker-compose up -d docker-compose run --rm node yarn install docker-
まだまだつづくよPuppetアドベントカレンダー、18日目です。 今回はPuppetのプロジェクトのインフラCIの話。 いまやってる内容の概要 インフラCI向けのDockerイメージを作る 一般的にはDockerのイメージでは、init相当のプロセスは走っていません。ですが、インフラCIの場合、普通のサーバの状態をコンテナ内でできる限り再現する必要があるので、init相当のプロセスが必要となります。 以下が、ぼくがプロジェクトで使ってきたベースイメージたちです。 CentOS 7 udzura/c7-systemd Ubuntu 14.04 ubuntu-upstart:trusty Ubuntu 15.10 tozd/ubuntu-systemd ベースイメージの作り方は、以下の記事なども参考になるかと思います。 http://qiita.com/yunano/items/9637ee2
Docker、Apache Aurora開発者らのチームを買収。Swarmとの統合によるオーケストレーション機能の強化でMesosやKubernetesと競合する方向へ Dockerを分散システムで用いる際には、大量のコンテナを管理するためのクラスタ管理システムあるいはオーケストレーションツールとして、KubernetesやApache Mesos、あるいはDocker Swarmなどを用いることが一般的です。 KubernetesはRed HatのOpenShiftで採用され、Apache MesosはマイクロソフトがAzure Container Serviceで採用しています。 こうした中でDocker社は、自社で提供しているオーケストレーションツールをあくまでも押し出していく戦略を明確にしました。 Docker社は、Apache Auroraなどの開発者などが立ち上げた新興企業Co
Dockerが新サービス「Docker Cloud 1.0」をリリースすることが、同社が公開したリリースノートから明らかになりました。近いうちに正式発表されるものと見られます。 Docker Cloudは、同社が昨年買収したTutumをリブランドし、Docker ID(Docker Hub Accountから改名)などを用いてDocker Hub Registryと密に統合したもの。 Docker社は、コンテナ対応アプリケーションの開発から開発されたコンテナイメージの管理、コンテナ化されたアプリケーションのデリバリと運用管理まで、コンテナ化アプリケーションのライフサイクル全体を、自社のツールによって実現しようとしています。 下記は昨年11月に行われた「DockerCon Europe 2015」の基調講演で示されたTutum、つまりDocker Cloudの位置付けです。Tutumはコンテ
Гриша планирует приобрести мультиварку в интернет-магазине. Поэтому он заходит в один из поисковиков и вводит запрос. Сначала он увидит контекстную рекламу, а ниже – органическую выдачу: Гриша определился с конкретной моделью мультиварки и теперь подбирает оптимальные условия покупки: Задача SEO продвижения – чтобы продвигаемый сайт находился как можно выше в поисковой выдаче по необходимым поиско
今年も残すところあと10日となりました。 Docker Advent Calendar 2015 22日目 山中です。 簡単に自己紹介 Advent Calendar 経由でお越しになった方もいらっしゃるかと思いますので簡単に自己紹介させて頂きます。 名前: 山中 悠 (@yuurelx) 経歴: -2009 バイトで検索エンジン開発&自宅データセンター 2009-2014 株式会社HDE (Programmer/SE/PM/Infra. Engineer) 2015 株式会社ペロリ (DevOps Engineer) 2016- INGoT合同会社 (CTO), Reactive Inc. (Core Engineer) 登壇歴: Docker Meetup Tokyo #5 SCRIPTY #4 Sensu deep talks #1,#2 Fashion Tech meetu
しばらくiOSアプリのクライアントサイドばかり開発していてサーバサイドプログラムにご無沙汰だったのだけど、 最近またGoでアプリのサーバサイドを書くようになった。 ちょうど xhyve が話題になっているのもあって、OS X の仮想環境がアツい感じだったので、 ひさしぶりに Docker で開発してみよう、と思いたち、Dockerを使ったアプリ開発をやってみている。 docker-compose を使って依存ミドルウェアも一緒に立ち上げる docker-compose [1] というのを使うと、複数のコンテナを同時に立てられ、それぞれにリンクも良い感じにやってくれる。 開発環境を作るにはもってこいのツールだ。 GoのWebアプリ サンプルとして以下のようなアプリを考える。 // main.go package main import ( "fmt" "log" "net/http" "gi
コンテナ環境とベアメタル環境の差異 前回は、Docker向け軽量Linux OSの主要3製品の比較を行った。Dockerを利用した環境の構築は、構築済みコンテナなどの利用により、比較的容易に行える。これは便利ではあるが、一方でコンテナ型仮想化環境には既存のベアメタル環境との差異がある。 コンテナ型の仮想化は軽量でリソース消費量が少ないが、コンテナ型仮想化環境にも管理レイヤは存在し、その上でコンテナが稼働している以上、どうしてもベアメタル環境に比べて性能劣化が発生することが予測される(図1)。 今回は、同一スペックおよび同一プロダクトを利用し、構築したDocker環境とベアメタル環境上で負荷テストを実施することで、両者の性能差を比較検証する。処理性能やリソース負荷状況などの観点で比較し、その差異を表やグラフにまとめているので、ご一読いただきたい。 まずは環境をご紹介する。今回は、図2のような
ecli # Docker Tips To detach from a running container press: <ctrl-p> <ctrl-q> Trouble Shooting While build process: Error getting container init rootfs.. Errors that look like this or similar: 2014/08/29 08:51:46 Error getting container init rootfs 1e2ee332a698371bd0bcd4a21cb8364006a47abc616cce257898b5168983b00c from driver devicemapper: Error mounting '/dev/mapper/docker-202:1-524399-1e2ee332a69
Docker を使い続けてコンテナやイメージを放置していると差分だけとはいえ、 ディスクの消費が増えていって、 書き込みエラー: デバイスに空き領域がありません (ENOSPC, write error: No space left on device) というエラーになってしまいます。 2017-03-18 追記 最近のバージョンでは docker system prune を使うのが良いようです。 古いバージョンを使うときの参考として、以下の記述は古いまま残しておきます。 コンテナの削除 docker rm の Eamples にあるように で停止しているコンテナを削除できます。 実行中のコンテナがあると削除できないというエラーが出ますが、 意図的にやっていることなので気にする必要はありません。 公式のドキュメントにも書いてある方法なので、 コンテナの削除方法はこのやり方で問題ないと思
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く