Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
amakanの本番環境をDockerに移行した - ✘╹◡╹✘
https://amakan.net/ のこの辺の改善の続き。 amakanをUnicornからPumaに移行した - ✘╹◡╹✘ amakanでyarnを使うようにした - ✘╹◡╹✘ amakanでRuby 2.3.3を使うようにした - ✘╹◡╹✘ amakanを Ruby 2.3.3 から 2.4.0-preview3 に移行した - ✘╹◡╹✘ amakanのフロントエンドを色々改善した - ✘╹◡╹✘ amakanをSidekiqに移行した - ✘╹◡╹✘ amakanの開発環境をDockerに移行した - ✘╹◡╹✘ 本番環境で使うDockerイメージ これまで開発環境でのみDockerを動かしていたが、本番環境でDockerを動かすには、本番環境で利用できるようなDockerイメージを用意する必要がある。そこでamakanでは、こういう方法を取った。 開発環境と本番環境で同
開発環境で使うDocker入門 | DevelopersIO
モバイルアプリサービス部の五十嵐です。 Dockerは軽量でポータビリティに優れ、環境を汚さないので開発環境には無くてはならない存在ですよね！今回はまだDockerを使っていない人向けに、私が自分が辿ってきた経験を元に、『こういうシーンでDockerを使うと便利』というのをステップ・バイ・ステップで説明していきます。 対象読者 Dockerはなんとなく知っていて興味はあるけど、使い所や導入するメリットが分からないという人を対象にしています。 環境 Docker for Mac（Docker 1.12.3） Dockerについて Dockerは複数のコンポーネントからなるプラットフォームですが、本記事では主にDocker EngineのことをDockerと呼びます。 Dockerはコンテナと呼ばれる仮想化技術を用いています。従来の仮想化技術と異なる点は、ホストのカーネルをコンテナと共有し、ホ
Dockerコンテナの作成からECSの動的ポート＋ALBでロードバランスするまで【cloudpack大阪ブログ】 - Qiita
概要 Dockerコンテナをローカルにつくり、ECRにプッシュ、ECS+ALBでロードバランスするところまでやってみます。 以前はECSをELBでロードバランスする際、EC2ホストとコンテナのポートを静的にマッピングする必要があり、1ホストに1コンテナしか実行できませんでした。ALBで実装された動的ポートマッピング機能を使い、EC2ホストの複数ポートをコンテナのポートと動的にマッピングすることで、1ホストに複数コンテナの環境をロードバランスすることができるようになりました。 環境はこんな感じです。 1. コンテナの作成 ローカルでDockerコンテナをビルドし、動かします。 環境 Docker for Mac https://docs.docker.com/docker-for-mac/ Docker for Windows https://docs.docker.com/docker-f
Docker in Production: A History of Failure
Introduction My first encounter with docker goes back to early 2015. Docker was experimented with to find out whether it could benefit us. At the time it wasn’t possible to run a container [in the background] and there wasn’t any command to see what was running, debug or ssh into the container. The experiment was quick, Docker was useless and closer to an alpha prototype than a release. Fast forwa
開発しやすいRails on Docker環境の作り方 - Qiita
最近、Rails界隈でDocker使い始めました、という話を聞く機会が増えてきたので、自分が開発環境整備用に構築したDockerの設定をまとめておく。 ちなみに、production運用については以前書いたので適当に探してくださいw 結論から書いておくと、volumeをちゃんと活用すればいい、ってだけの話です。 まず、本番用と開発用のDockerfileは分けた方が良い。一つでやろうとするとどうにも無理がでるので。 自分はDockerfileとDockerfile-devというものを用意している。 docker-composeはほぼ必須です。少なくともrailsプロセスとDBだけでも二つは必要だし、Dockerfileを分けてると事故るので。 Dockerfileはこんな感じ。 FROM mybase:ruby-2.3.1-debian RUN echo "deb http://http.
DockerとMakeを利用したRPMパッケージのビルド環境 | メルカリエンジニアリング
SREチームの@cubicdaiyaです。今回はDockerとMakeを利用したメルカリの自作RPMパッケージのビルド環境について紹介します。 メルカリの自作RPMパッケージ事情とVagrant、そしてDocker メルカリの開発およびプロダクション環境では現在CentOS6と7を利用しており、随時CentOS7へ移行中です。そのため、自作RPMパッケージをビルドする際はCentOS6と7向けにそれぞれビルドしています。ビルドしたパッケージはyumリポジトリサーバにアップロードした後、必要に応じてyumでインストール、Ansibleのplaybook化を行います。 RPMパッケージの作成はSREチームのメンバーが行っており、各自のローカルマシン上において make {パッケージ名} を実行するだけでCentOS6と7向けのRPMパッケージをビルドできる環境をDockerで構築しています。
ssig33.com - Docker で Go で作ったバイナリを実行するなるべく小さいコンテナを作る
Go でアプリケーションを作ると、そのまま他になにもなくとも実行できるバイナリが出来あがります。この特性によりデプロイが大変楽です。 このような特性があるので、 Go を使う場合 Docker のようなオーケストレーションツールを使わなくても多くのサーバーにアプリをデプロイしていくことも可能かと思われますが、そこはまあ Docker という巨人に乗っておくと楽なことが多いです。具体的には swarm と docker-compose が便利なので Docker 上で実行したい。 ここで問題となってくるのが何も考えずに Docker イメージを作るとイメージサイズが膨れあがってしまってシングルバイナリによる手軽さなどが損なわれてしまうという点です。 たとえば golang:alpine のような比較的小さいイメージを使ってもファイルサイズはバイナリサイズ + 300MB ほどにもなってしまい
Docker、OCI やめるってよ : 革命の日々 その２
週末のTwitterの応酬が面白かったのでメモ タイトルはもちろん「桐島、部活やめるってよ」のパクリですが、わたしはこれ見たことないです。 Kelsey Hightower （GoogleのKubernetesの中の人） がまず燃料投下 There are many application platforms that support Docker images without the Docker daemon. Which one was first I have no idea. — Kelsey Hightower (@kelseyhightower) 2016年7月28日 Dockerアプリ動かすのってもうDocker純正エンジンいらないよねー もちろん（Docker CTOの） Solomon Hykes は反論 @kelseyhightower pseudo-support.
Windows10 環境で Docker を使った快適な開発環境を作ろうとして諦めた話 - Qiita
10年以上 Macbook ユーザーな私ですが、MSのカンファレンス、de:code で色々刺激を受けたのと、最近 Bash on Ubuntu on Windows とか使えるようになったり、オープンソースコミュニティと仲良くし始めたりと、なかなかおもしろいなーと思って、Surface Pro4 を購入して「Macbookから乗り換えできるか？」というチャレンジをしてみました。 それから約1ヶ月経った今、この記事を Macbook Pro から書いています。結構頑張ったし、Windows10のいいところもいろいろ発見したんですが、結論から言えば、 「Docker の実装がまだ中途半端」 ということで、私にとっては快適な開発環境は作れませんでした。 あくまで、私の技術不足でうまくいかなかっただけかもしれませんので、「そんなことないぞ」という反論を是非お待ちしております。 やりたかったこと
RailsアプリをECSで本番運用するためのStep by Step
@joker1007 self.inspect @joker1007 パーフェクトRuby, パーフェクトRails 著者 Asakusa.rb, Yokohama.rb, Shibuya.rb データ分析基盤構築, Bigquery, インフラ全般 fluent-plugin-bigqueryメンテナ (株)Repro 宣伝タイム 現在のECSの活用状況 主要システムはほぼECSに移行完了 メインWeb, API, 各種非同期処理ワーカー クラスタは基本で15台 ASでその倍から3倍ぐらいまで増える 開発者用ステージング、QA環境等にも利用 何故ECS化したのか ミドルウェアのバージョン管理の容易さ Ruby, nginx, fluentd ... TaskDefinitionのリビジョンでロールバックできる 無停止デプロイメントの簡易化 AutoscaleのためのAMI管理不要 pul
DockerとSwarmで既存アプリをサーバーレス化してみよう！ - Qiita
以下でポイントごとにソースを見る/比較を行ってみます。 ポイント リクエスト処理部分 voting appとresult appという2つのサービスで処理していたのを、 entrypointというサービスで受け、それぞれ担当するDockerコンテナを起動するという形になります。 リクエスト処理部の違い voting appとresult appはそれぞれ何の変哲もないWebアプリです。 (voting appがPython/Flask、result appがNote.js/expressで作られている) 対して、entrypointもWebアプリ(Go言語)なのですが、net/httpでリクエストを受け、 go-dcgiというライブラリでDockerコンテナを起動するようになっています。 この部分のソースを見てみましょう。 非常に短いですので全文掲載しています。（コメントは私が追記したもの
Introducing Dockercast – the Docker Podcast | Docker Blog
Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build CloudSpeed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers
［速報］Docker for AWS／Docker for Azure発表。Dockerの運用に必要な設定を一括で自動設定。DockerCon 16
［速報］Docker for AWS／Docker for Azure発表。Dockerの運用に必要な設定を一括で自動設定。DockerCon 16 コンテナ型仮想化の実装を提供するDockerの年次イベント「DockerCon 16」が、米ワシントン州シアトルで開幕しました。 基調講演では、AmazonクラウドやMicrosoft AzureでDockerを利用するのに必要な設定をまとめて簡単に実行してくれる新しいツール「Docker for AWS」と「Docker for Azure」が発表されました。 例えばAmazonクラウドでDockerをクラスタ運用する場合には、CloudFormationのテンプレートやファイアウォールのルール設定、ロードバランサーの設定など多くのツールを用いてさまざまな設定をしなければなりません。 Docker for AWSは、こうした設定をまとめて自
Railsアプリケーション開発を完全にDocker化する
Railsアプリケーション開発を完全にDocker化する Tweet Degica のすべてのサービスは Rails で開発しており、そのうちの一部は Docker を使用した本番環境にデプロイしています。しかし開発者個人の開発環境にはいまだに Docker を導入できていません。最も大きな障害は spring を docker コンテナ内で上手く扱う方法が確立されていなかったことですが、この問題は docker-compose を工夫して利用することで解決可能であることがわかりました。 ということで、今回は rails アプリケーションの開発環境を完全に docker 化する方法を紹介します。 完全に、というところがポイントです。この方法を使えば docker 以外のツールを一切ホストマシンにインストールせずに rails アプリの開発を行うことができます。 (ちなみに、弊社の本番環境は
DockerでMySQL複数バージョンを共存させる - Qiita
MacローカルでMySQL5.6.xとMySQL5.7.xを同時に起動して、アプリケーション毎に接続するバージョンのすみ分けができるようにする。 Multiple MySQL Versions with HomebrewとかでHomebrewで両バージョンをインストールして brew switch で切り替える方法でも運用してたが、切り替えやログファイル削除が面倒だったり、Rails -> MySQLのアクセスで不具合が発生したりと面倒だった。 それとDockerを使いたかったので今回はDockerでやってみた。 前提条件 macOS Sierra 10.12.6 Docker Toolboxがインストールされていること Macローカルで， mysql がインストールされていること (ローカルMacからコマンドから接続するのに必要) Dockerセットアップ Dockerホスト作成
Dockerでホストを乗っ取られた - Qiita
注意 本件記事ですが、私の不適切な行動（拾ったスクリプトを検証なく走らせる）が原因です。「dockerは（特に何もしなくとも）危険」との誤解を皆様に与えた点、ご迷惑をおかけいたしました。申し訳ございません。 拡散されている記事を削除するのはさらなる誤解を招きかねないと思いましたので、冒頭に注意を付記しております。以下の記事は、「自分が何してるかをきちんと検証できないとセキュリティホールを生み出す」という意味で参考にして頂ければ幸いです。 追記 Twitterやはてブで言及いただきました皆様、ありがとうございます。 本件はpullしてきたイメージが悪意ある開発者によるものかどうかにかぎらず、不適切な設定をしていると起こり得ます。 ※コメント欄に質問への回答という形で、私がそのときに走らせていたイメージの一覧を挙げておりますが、どのイメージも評判あるものだと思います。 皆様におかれましては「あ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchのローカル環境をDocker Composeで用意する - Qiita
why-we-broke-our-philosophical-vows-to-bring-you-circleci-2-0
Docker 1.12 の衝撃
