EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ | CyberAgent Developers Blog
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン
「Docker」を全く知らない人のために「Docker」の魅力を伝えるための「Docker」入門 - Qiita
「職場の人たちにDockerをもっと訴求したい！」そんな想いから、「Dockerって何？」といった方々にDockerの魅力を伝えるための記事を書いてみました。 Dockerのインストール方法については、『Amazon EC2にDocker CEの環境を構築する』にまとめています。併せてお読みください。 「Docker」とは 「Docker（ドッカー）」は近年大変注目されている 仮想化ソフトウェア です。 2017年の企業におけるDockerの導入状況は「本番環境で使用している」という企業が6.0％、「開発／テスト／検証段階」の企業が13.1％であったようです。（「2017年 国内OpenStack／Dockerの導入状況に関するユーザー調査結果を発表」） Dockerが注目されている一番の理由はその 手軽さ です。Dockerを使えば、以下のようなサーバー環境を簡単に構築することができます
「全然わからない。俺たちは雰囲気でコンテナをやっている」 /operating-containers-just-with-a-hunch
Hacker Tackle 2018 発表資料
AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログ
1000台同時SSHオペレーション環境を構築するにあたって、手元のローカル環境の性能限界の問題を解決するために、オペレーションサーバをSSHクライアントとすることによりSSH実行を高速化した。実行環境としてDocker、レジストリとしてAmazon ECR(EC2 Container Registry)を用いて、ローカル環境とオペレーションサーバ環境を統一することにより、オペレーションサーバの構成管理の手間を削減した。 はじめに システム構成 実装上の工夫 オペレーションサーバ越しのroot権限実行 rawモジュールとscriptモジュールのみの利用 Ansibleの実行ログのGit保存 まとめと今後の課題 はじめに 3年前に Ansible + Mackerel APIによる1000台規模のサーバオペレーション - ゆううきブログ という記事を書いた。 この記事では、ホストインベントリと
Docker for Macのディスクスループットを約2倍にする - Qiita
2018-08-06 15:38 Stable版で復活のお知らせ Docker Community Edition 18.06.0-ce-mac70 2018-07-25 にて再度rawフォーマットが利用可能になりました。 Re-enable raw as the the default disk format for users running macOS 10.13.4 and higher. Note this change only takes effect after a “reset to factory defaults” or “remove all data” (from the Whale menu -> Preferences -> Reset). Related to docker/for-mac#2625 Docker for Mac Stable release
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開 Container Structure Testは、コンテナ内部でコマンドを実行することで正しい出力やエラーが帰ってくるかどうかや、コンテナ内部のファイルが正しく格納されているかなどの検証を実行できるフレームワークです。 具体的には下記のテストをサポートしていると説明されています。 Command Tests コンテナイメージ内部でコマンドを実行し、正しい出力やエラーが返ってくるかを検証する。 File Existence Tests コンテナイメージ内部に、あるファイルがファイルシステム内の適切な位置に存在しているかどうかを検証する。 File Content Tests コンテナイメージ内のファイルシステムにあるファイルのコンテンツとメタデータ
Dockerコンテナ時代の第一章の終わり、そして第二章の展望など － Publickey
コンテナ型仮想化の技術や実装はDockerが登場する以前から存在していたとはいえ、IT業界で本格的にコンテナの活用が始まったと言えるのは、やはり2013年3月に当時のdotCloudからDockerが登場したことがきっかけでしょう。 そうして始まったコンテナ時代の第一章は今年2017年、コンテナの標準仕様がOpen Container Initiativeによって策定完了し、コンテナオーケストレーションの事実上の標準がKubernetesに決まったことで基盤技術の基本要素がおおむね固まり、一つの区切りがついたように見えます。 そして今後は、この基盤技術を用いたコンテナによる分散アプリケーションのための様々なサービスや開発、テスト、デプロイ、本番環境に対応したツールやサービス実行環境などのソリューションが登場し、競う段階へ入っていくのではないでしょうか。 この記事では、Docker登場から現
VISAカードのインフラがDocker採用。数秒でプロビジョニング、パッチやメンテにさよなら、消えるインフラ。DockerCon 2017
VISAカードのインフラがDocker採用。数秒でプロビジョニング、パッチやメンテにさよなら、消えるインフラ。DockerCon 2017 4月に米テキサス州オースチンで開催されたDockerのイベント「DockerCon 2017」では、コンテナランタイムのためのLinuxコンポーネント「LinuxKit」の発表や、コンテナランタイムを組み立てる「Moby Project」の発表など、同社の新しい方向性を示す発表が相次いで行われました。 そのなかでもう1つ、DockerCon 2017ではグローバルな決済サービスを提供しているVisaが、同社のインフラにDockerを採用したという事例が発表されました。これまでDockerは開発環境やテスト環境への採用が進んでいましたが、Visaのような著名な企業が本番環境でDockerを採用した事例の発表は、Dockerの本番環境への導入を市場に説得す
Docker、MacOS X対応の軽量な仮想化ツール「HyperKit」をオープンソースで公開。Docker for Macの仮想化機能を取り出したもの
Docker、MacOS X対応の軽量な仮想化ツール「HyperKit」をオープンソースで公開。Docker for Macの仮想化機能を取り出したもの Dockerは、MacのOS Xに組み込まれている「Hypervisor Framework」に対応した軽量な仮想化ツール「HyperKit」などをオープンソースで公開しました。 DockerはMacで仮想マシンを立ち上げ、そこで軽量なLinuxを起動することで、Macで手軽にDocker環境を構築できるソフトウェア「Docker for Mac」を3月に公開しています。 このDocker for Macの仮想化機能は、MacのOS Xに組み込まれているHypervisor Frameworkを用いています。 今回オープンソースとして公開された「HyperKit」は、このDocker for Macの仮想化機能部分を取り出したもの。オープ
軽量イメージ時代を 生きるためのAlpine Linux
2016/04/21 Alpine Linux Meetup #1
Dockerとchrootを組み合わせたシンプルなコンテナデプロイツール - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2015の1日目です。今回は、既存の運用フローに乗せやすいDockerイメージへのchrootによるデプロイの考え方と自作のコンセプトツール droot を紹介します。 github.com 背景 Docker 本番導入の課題 Docker 導入の目的 Docker + chroot のアイデア droot: Dockerイメージにchrootするコンテナツール droot の使い方 droot push: Dockerイメージをtar ball化しS3にpushする droot pull: S3にpushしたイメージをダウンロードし展開する droot run: 展開先のディレクトリにchrootする droot の実装 droot push/pull の実装 droot run の実装 あわせて読みたい あとがき 背景 Dockerがリリー
Dockerを使ったGolang開発環境 - unknownplace.org
しばらくiOSアプリのクライアントサイドばかり開発していてサーバサイドプログラムにご無沙汰だったのだけど、 最近またGoでアプリのサーバサイドを書くようになった。 ちょうど xhyve が話題になっているのもあって、OS X の仮想環境がアツい感じだったので、 ひさしぶりに Docker で開発してみよう、と思いたち、Dockerを使ったアプリ開発をやってみている。 docker-compose を使って依存ミドルウェアも一緒に立ち上げる docker-compose [1] というのを使うと、複数のコンテナを同時に立てられ、それぞれにリンクも良い感じにやってくれる。 開発環境を作るにはもってこいのツールだ。 GoのWebアプリ サンプルとして以下のようなアプリを考える。 // main.go package main import ( "fmt" "log" "net/http" "gi
はてなにおける継続的デプロイメントの現状と Docker の導入
2015 年 1 月 11 日に開催された 「Jenkins ユーザ・カンファレンス 2015 東京」 での発表資料です。Read less
Perlはもう古い、これからはDocker - ゆううきブログ
本記事の内容はWEB+DB Vol.88 Perl Hackers Hub 第34回 に「DockerによるPerlのWebアプリケーション開発」という記事にまとめなおしていますのでそちらをご覧ください。 「Perl Hackers Hub」では、「DockerによるPerlのWebアプリケーション開発」と題して@y_uuk1さんにご執筆いただきました！Dockerの基本的な考え方からPerlのWebアプリ向けのDockerfileの書き方まで、実践的な内容です！ #wdpress— WEB+DB PRESS編集部 (@wdpress) 2015, 8月 22 この記事は Perl Advent Calendar 2014 の19日目の記事です。 Plack/Carton で構築したモダンな Perl の Web アプリケーションの開発環境を Docker 化するための試行錯誤を紹介します
Dockerコンテナ接続パターン (2014年冬)
本記事はDocker Advent Calendar 2014の1日目の記事です． Dockerによるコンテナ化はリソース隔離として素晴らしい技術である．しかし，通常は1つのコンテナに全ての機能を詰め込むようなことはしない．マイクロサービス的にコンテナごとに役割を分け，それらを接続し，協調させ，全体として1つのサービスを作り上げるのが通常の使い方になっている． コンテナ同士の接続と言っても，シングルホスト内ではどうするのか，マルチホストになったときにどうするのかなど様々なパターンが考えられる．Dockerが注目された2014年だけでも，とても多くの手法や考え方が登場している． 僕の観測範囲で全てを追いきれているかは分からないが，現状見られるDockerコンテナの接続パターンを実例と共にまとめておく． なお今回利用するコードは全て以下のレポジトリをcloneして自分で試せるようになっている．
Dockerに関するメモ
docker_memo.md Dockerに関するメモ Dockerと付き合っていく上で考えるべきことのメモ The Twelve-Factor App を熟読 http://12factor.net/ http://twelve-factor-ja.herokuapp.com/ (ja) Dockerは要するにこのTwelve-Factor Appを実現するためのインターフェースなので、 選択に悩んだらここに戻ってくると良い。 コードベース (Codebase) バージョン管理されている1つのコードベースと複数のデプロイ 依存関係 (Dependencies) 依存関係を明示的に宣言し分離する 設定 (Config) 設定を環境変数に格納する バックエンドサービス (Backing Services) バックエンドサービスをアタッチされたリソースとして扱う ビルド、リリース、実行 (Bu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナを守る技術2018/container-security-20180310
Kubernetesに入門したい
Nyle Engineering Blog
TechCrunch | Startup and Technology News
