分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html Read less
![本当は恐ろしい分散システムの話](https://cdn-ak-scissors.b.st-hatena.com/image/square/9bca71e5b66a2c52388fb6bbde50b2dac73d141f/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Frandom-171030113110-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
teespring.com 分散データベースというのは、それ単体でもとても難しい、データベースと、分散システム双方の技術の粋を結集して実現されるアプリケーションだ。これをサービスといったり、ミドルウェアといったりする場合もあるが、今回は技術を応用してつくったものという意図でアプリケーションと位置づけることにする。まあ古くて新しい問題で、死屍累々の世界でありながら、それでいて金の鉱脈でもある世界だ。イカのようなトピックを概説していくことで、近年の流れをメモしておきたい。 Pre-cloud era: クラウド以前の時代 BigTable, DynamoとCAP定理 MegaStore 研究: Calvin Jepsen: できたら☎してよ〜 Coordination free database Spanner: 何でもできるよ!! Kudu+Impala Next? クラウド以前の時代 Sy
この話の続き systemd-nspawnに移行した 以下詳細とか雑記 ファイルの差分管理がそもそも不要docker commitもdocker diffも使わないし、要らない 要らないだけならまだしも、aufs、overlayfs周りでトラブル可能性がありむしろ邪魔 イメージの差分管理はファイルシステムの層でやるのが素直でコンテナ管理にくっついてるのに違和感がある Dockerじゃないと今までのエコシステムが云々言ってるやつこういう事言うやつは本質をまるで理解してないやつ Docker特有の機能をフルに使ってる奴ならまだしもコンテナ動かすだけなら何使っても変わらねーよw Docker Hub からイメージダウンロードしてtarで解凍すりゃ良いだけじゃねーか composeだって容易にコンバート可能だし、composeで何が起きるかわからない状態で本番運用とか口にしないで欲しい 実際sys
以前に私が書いた「 Dockerの本番運用:失敗の歴史) 」という記事は、非常に多くの反響を呼びました。 その後、長い議論を交わして、何百件ものフィードバックや何千件ものコメントを読み、さまざまな人々や主要事業者とも顔を合わせました。Dockerでの試みが増えるほど、その失敗談は増えていきます。そうした現状を、今回アップデートしておきたいと思います。 この記事では、最近の交流や記事から得た教訓を紹介しますが、その前に簡単におさらいをして軽く背景を説明しましょう。 免責事項:対象読者 たくさんのコメントから、世の中には10種類の人々が存在するということが明らかになりました。 1) アマチュア 実際のユーザがいない試用版のプロジェクトやサイドプロジェクトを実行している人々です。Ubuntuのベータ版を使用するのが当然だと考えており、「安定したもの」は古いものと見なすようなタイプです。 注釈:書
わーい!コンテナたのしー!🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールすること」は肝心カナメの要素です。 本記事では、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介いたします。 このクローラーシステムは、最終的にクロール時間67%減、 維持コスト70%減という成果が得られました。 キーワード: コンテナ, Docker, Apache Mesos, Marathon, AWS Lambda, Amazon EC2 SpotFleet 問題解決手段の検討 -> コン
Dockerのvolume機能について調べたことをまとめます 対象 Docker 1.10 VirtualBoxでのdocker-machine利用 公式のVolumeについての説明文書 Manage data in containers https://docs.docker.com/engine/userguide/dockervolumes/ dockerでrunコマンドコンテナを起動するときに「-v」オプションをつけることで 起動元(docker runを実行したホスト)のディレクト コンテナを実行しているホストのディレクトリ 1 を、コンテナ内のディレクトリとしてマウントすることができます。 このマウントされた領域をVolumeというそうです。 % docker run -v /host/path:/container/path some_image → ホストの /host/p
今までいろいろ触ってきて,Dockerネットワーク周りに関しては何となくは理解していたが,人に説明できるほど理解してなかったのでまとめておく.基本は,Advanced networking - Docker Documentationがベースになっている. 仮想ブリッジの仕組み Dockerのネットワークは,仮想ブリッジdocker0を通じて管理され,他のネットワークとは隔離された環境で動作する. Dockerデーモンを起動すると, 仮想ブリッジdocker0の作成 ホストの既存ルートからの空きのIPアドレス空間を検索 空きから特定の範囲のIPアドレス空間を取得 取得したIPアドレス空間をdocker0に割り当て が行われる. コンテナを起動すると,コンテナには以下が割り当てられる. docker0に紐づいたveth(Virtual Ethernet)インターフェース docker0に割り
概要 Dockerのネットワーク周りを勉強していると、 docker0 仮想ブリッジ VXLAN link機能 など色んな要素が出てくるのですが、ちゃんと理解していないとすぐ忘れるため一度しっかり学んでみました。 今回はその時に疑問に思ったことをまとめてみました。 環境 docker 1.11.2 構成 マシン IP 役割 ホスト 192.168.33.10 Dockerホスト docker0 172.17.0.1 仮想ブリッジ nginx1 172.17.0.2 コンテナ1 nginx2 172.17.0.3 コンテナ2 事前知識 以下の知識があると学ぶ上で非常に助かります。 ブリッジ 第2層でMACアドレスで判別して転送 3 Minutes Networking No.17 ルータ 第3層でIPで判別して転送 3 Minutes Networking No.28 NAT、NAPT、IP
注目されるDockerのスケジューリングツール Dockerには、基本機能だけでは自分自身がインストールされているホストのコンテナしか管理できず、複数ホストのコンテナを管理できないという問題がある。そのため、実際にサーバを複数台利用するような規模でDocker環境を運用することを考えると、コンテナのクラスタリングやスケジューリングなど、複数ホストにまたがってコンテナをオーケストレーションする仕組みが必須となる。 そのため、Docker環境の管理を行うスケジューリングツールが注目を集め、数多くの製品が登場しているが、その中で特に注目されているものに、KubernetesとMesosがある。KubernetesとMesosは、複数ホストのコンテナを簡単に管理できるという点では共通しているが、機能の対象範囲には違いがある。 今回は、KubernetesとMesosの特徴と相違点について整理し、そ
Google、DockerコンテナのビルドをREST APIなどで自動化できる「Container Builder」リリース。1日あたり120分のビルド時間まで無料 ソフトウェアの開発サイクルを迅速にまわすうえで、開発したコードをビルドし、テスト環境でテストをし、本番環境へ展開するといった操作を自動的に行う、いわゆるCI/CD(継続的インテグレーション/継続的デリバリ)の仕組みを構築することは欠かせないものになろうとしています。 こうしたCI/CD環境を構築するにあたって便利なのがDockerコンテナです。アプリケーションをDockerコンテナにパッケージすることで、軽量でポータブルなDockerコンテナの特長を活かして開発者が開発に利用しているノートPCからテスト環境、本番環境まで簡単に移動できるためです。 GoogleはこうしたDockerコンテナのビルドをRESTful APIを用い
docker tool-boxによるパーミッション系エラー docker tool-boxをインスコしたのにcommand not foundや~permission denied が出るのはまぁまぁあるかと思います、いつだったかの記事にも書いたような気がするけど再度。 環境 docker tool-box 1.10系 windows10 pro (Hyper-V 無効化) エラー事象 permission系 command not found ~permission denied 原因/内容 docker tool-boxさんはまとめてインスコしてくれる優れものですが pathも通してくれますが、漏れがあるのです windowsの環境変数には ユーザ環境変数 システム環境変数 の2つがありますが、tool-boxさんは片方ずつに断片的にパスを通してきます。 画像にもありますが、ユーザ環境
Dockerコンテナのリポジトリ管理 DockerHubへログイン、イメージの取得〜更新、コミットまで。DockerDockerHub はじめに 今回はDockerHubでのプライベートリポジトリ管理(手動)を想定しました。 まずはDockerHubへログインした上でリポジトリからコンテナをpullで取得し、その後コンテナ自身を更新します。その後commit→pushでDockerHubにあるリポジトリを更新します。 以上が「コンテナか管理」の際に行う基本的な流れになると思います。 1.DockerHubへのログイン まずはリポジトリへアクセスできるようにするため、DockerHubへログインを行います。
Dockerコンテナを実行したままライブマイグレーション可能に、将来のOpenStackで実現へ。IBMがOpenStack Summitでデモ IBMはスペイン バルセロナで開催された「OpenStack Summit 2016 Barcelona」で、実行中のDockerコンテナをそのまま別ホストへ移動させるライブマイグレーションのデモを紹介し、将来のOpenStackで実現する方向性を示しました。 IBMがデモを披露したのは、「Live Container Migration on OpenStack」セッション。 ここで行われた説明によると、Dockerコンテナのライブマイグレーションでカギを握るのが、「CRIU」(発音はkree-oo)と呼ばれるソフトウェアです。CRIUはLinuxのユーザー空間においてプロセスのチェックポイントを設定し、その状態を保存、リストアできます。CRI
Googleのクラウドは間違いなく世界最大規模のコンピュータシステムです。膨大なハードウェアとソフトウェアから構成されるこの巨大なシステムを、同社はどうやってセキュアに保っているのか。そのことを解説したホワイトペーパー「Google Infrastructure Security Design Overview」が公開されました。 ホワイトペーパーには、Googleのデータセンターを構成するデバイスの1つ1つにまで独自のセキュリティチップを組み込んで正規のデバイスかどうかを相互に認証するという物理レベルのセキュリティから、何層のものロードバランサーからの情報を集約してDos攻撃を検知すると、その通信を破棄するといったDoS対策。 そしてマシンも従業員もサービスも包括するグローバルな名前空間など、きわめて広範かつ綿密なセキュリティ施策が説明されています。 クラウドがいかに高度なセキュリティで
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く