Japan Rook Meetup #3での発表スライドです。Ceph、完全に理解した」って Tweetしてもらう為に、Cephの基本について解説しています。
![「Ceph、完全に理解した」って Tweetする為のセッション ー Ceph 101 ー](https://cdn-ak-scissors.b.st-hatena.com/image/square/15d21671dc07de12d2c50322eb1d1e9ca55ab85b/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F7f09f1c297e34dd29d5059c99cd7948d%2Fslide_0.jpg%3F15773216)
Japan Rook Meetup #3での発表スライドです。Ceph、完全に理解した」って Tweetしてもらう為に、Cephの基本について解説しています。
こんにちは、Red Hatでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今回から、Kubernetes(k8s)におけるストレージという狭ーいちょびっと深ーい話を連続で紹介します。 ご存知の方も多いと思いますが、k8sにはPersistent Volume(PV)という無敵に素敵なストレージ抽象化の仕組みがあります。だからアプリケーションからボリュームを使えるようにする辺りの処理に関してはほとんど考えなくて大丈夫。 じゃあバックエンドのストレージ自身はどうあるべきか?みたいな話って、あんまりされないんじゃないかなって思ってます。それは、k8sには多くの外部ストレージに対応したvolume driverやpluginがあって、既存の外部ストレージをそのままPVとして使えるから。実際には外部ストレージによってできる事できない事は色々ありますが、「今あるストレージが使えるんな
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「OpenStack Summit Tokyo 2015」では、OpenStackのコアコンポーネントに加えて、OpenStackと連携する技術に関する数多くのセッションが見受けられた。ここでは、OpenStackと連携する分散ストレージソフトウェア「Ceph」のオリジナル開発者であるSage Weilによるセッションを紹介する。 OpenStackの定番ストレージとなった「Ceph」 今回のOpenStack Summit開催に先駆けて、OpenStack Foundationが実施したユーザーサーベイでは、62%のユーザーがOpenStackのブロックストレージコンポーネント「Cinder」のバックエンドとしてCephを使用している
EMCは米ラスベガスで5月4日から4日間開催したイベント「EMC World Las Vegas 2015」で、ブロックストレージ機能を提供する分散ストレージソフトウェア「ScaleIO」の無償提供を発表しました。 ScaleIOはもともと同社が2013年に買収したScaleIO社の製品で、その後EMCの製品としても販売。コモディティサーバにインストールすることでそのサーバをストレージサーバにするもので、最大の特長はスケールアウト機能です。ScaleIOによるストレージサーバをネットワーク上で増やしていくと、台数に応じてI/O性能も向上します。 また、ScaleIOはストレージサーバの動的な追加や削除が可能で、一部のサーバが障害で落ちても全体としての運用は継続可能など、耐障害性も備えています。 分散ストレージによってブロックストレージ機能を実現するソフトウェアとしては、オープンソースのCe
Cephがスケールできる理由、単一障害点を排除する仕組み、負荷を減らす実装:Ceph/RADOS入門(4)(1/4 ページ) Ceph/RADOS が採用しているCRUSH、Paxosといった、分散したデータから正しく応答するための仕組みを支えるアルゴリズムの概要を学びながら、挙動を見ていきます。 連載バックナンバー 本連載では、オープンソースの分散オブジェクトストレージであるCeph/RADOSの技術詳細、実装について見ていきます。第1回ではCephの概要を、第2回ではCeph/RADOSを構成する要素を、第3回では実際にインストールして動作させるところまでを見てきました。 第4回である今回は、Ceph/RADOSの動作する仕組みについて、採用している分散アルゴリズムや単一障害点をなくす仕組み、メタデータ削減の方法などを見ていきます。 Ceph/RADOSのアーキテクチャ概要 Ceph/
Ceph/RADOSのインストール、環境構築と接続テストまで:Ceph/RADOS入門(3)(1/4 ページ) OpenStack環境で使える分散ストレージとして注目を集めるCeph/RADOS。今回は実際に5台のサーバーを使って分散ストレージ環境を構築、各インターフェースの動作確認までの手順を紹介します。 連載バックナンバー 第1回ではCephおよびRADOSの概要と特徴を、第2回ではCeph/RADOSの各機能コンポーネントと挙動を見てきました。 今回はこれまでの事前知識を踏まえて、実際にCeph/RADOSを導入して動作を試してみましょう。 Ceph/RADOSを試用してみる それではCeph/RADOSを使ってみましょう。まずはインストールからです。 通常、Ceph/RADOSのインストールはLinuxディストリビューションのパッケージ管理システム(RPMなど)で行いますが、最新版
OpenStack環境下の分散ストレージとして注目を集めるCeph/RADOS。今回は各コンポーネントを深掘りして挙動を理解していく。分散の仕組みや特徴を理解することで、より良いシステム構成検討を目指そう。 連載バックナンバー Ceph/RADOSの実装から動作の仕組みを理解する 前回の記事ではCeph/RADOSの成り立ちや、注目されている理由、他の類似プロダクトとの違いを見てきました。 今回はCeph/RADOSがどのような構成で分散ストレージを実現しているのかを理解していきましょう。 Ceph/RADOSの実装を見る まず、Ceph/RADOSの技術的な概要を見ていきましょう。 Ceph/RADOS環境は、分散オブジェクトストレージであるRADOSがベースとなっています。RADOSはアプリケーションから直接使用する他、コンポーネントを足すことで各種サービスインターフェース(ブロックイ
富士通は10月27日、大容量コンテンツ向けストレージ「FUJITSU Storage ETERNUS CD10000」の販売を開始した。オープンソースの分散ファイルシステム「Ceph」を採用し、ノードの追加によって、最大56ペタバイト(PB)までスケールアウトできる。 ETERNUS CD10000は、近年爆発的にデータ量/数が増加しているドキュメントや画像、動画など、参照(読み出し)を中心とした用途向けのストレージシステム。コントローラーとディスクを組み合わせたノード単位で増設が可能で、最大224ノードまで容量/性能をリニアに拡張することができる。 分散ファイルシステムのCephを採用しており、ノード間でデータを冗長化して保存し、ディスクやノードが故障した場合には自動で冗長性を回復する。また、特定ノードに負荷が集中しないよう、データは自動的に分散配置される。
更新履歴 2014/10/11 cephx auth無効化しないでmap imageできたので、修正しました Docker環境ではDBファイル等を保存する永続データストアは、各ホストのローカルストレージに置いてしまうとコンテナがホストを移動できなくなってしまうので、外部共有ストレージを使う必要があります。AWS/GCP等のパブリッククラウドでは、目的に応じてストレージサービスを選べばいい訳ですが、ローカル環境では耐障害性を考慮した外部共有ストレージを用意する必要があります。 高価なNAS/SANストレージにかわる共有ストレージとして注目されている、CephをCoreOS上のDockerコンテナからマウントできるか試してみました。 Cephを使用する方法として、オブジェクトストレージ(AWS S3/Openstack SWIFT互換 REST API)、POSIXファイルシステム、ブロックデ
こんにちは。最近 OpenStack の導入に向けて保守性や可用性について調査している @jedipunkz です。 OpenStack は MySQL のダンプや OS イメージ・スナップショットのバックアップをとっ ておけばコントローラの復旧も出来ますし、Grizzly 版の Quantum では冗長や分散が 取れるので障害時に耐えられます。また Quantum の復旧は手動もで可能です。最後の 悩みだった Cinder の接続先ストレージですが、OpenStack のスタンスとしては高価な ストレージの機能を使ってバックアップ取るか、Ceph, SheepDog のようなオープンソー スを使うか、でした。で、今回は Ceph を OpenStack に連携させようと思いました。 この作業により Cinder の接続先ストレージが Ceph になるのと Glance の OS イメー
連載バックナンバー IaaS構築・運用環境として注目を集める「OpenStack」でストレージを使用する場面としては、Compute service(Nova)が使用するファイルシステム、Image service(Glance)、Volume service(Cinder)、Object storage(Swift)などが挙げられます。 本連載では、OpenStackのストレージ環境として注目を集めているOSSの分散ストレージ「Ceph/RADOS」について見ていきます。同じくOSSストレージインフラの選択肢としてCeph/RADOSと並んで検討されることの多いGlusterとの比較にも言及する予定です。 はじめに:Cephとは? RADOSとは? Cephの名前は頭足類を意味するCephalopodsに由来しています。開発者のペットであるタコのニックネームとして使われているそうです(*
IceHouse版OpenStackをベースにしたSUSE Cloud 4が登場。Cephを使ったソフトウェア定義型ストレージ環境の構築・管理を効率化する機能が盛り込まれている。 ノベルは2014年8月21日、IaaS(Infrastructure-as-a-Service)プライベートクラウドソリューションの最新版「SUSE Cloud 4」の提供を開始した。Icehouse版OpenStackをベースとしている。対応ハイパーバイザーは、KVM、Xen、Microsoft Hyper-V、VMware ESXi。 SUSE Cloudが提供するインストールフレームワークに盛り込まれた機能を介して「Ceph」を使うことで、Cephクラスターの自動的な構成設定が可能になっているという。Cephは米Inktankがオープンソースで提供している分散ストレージシステムの一つ。単一のストレージに格納
Welcome to Ceph¶ Ceph uniquely delivers object, block, and file storage in one unified system. Ceph Object Store RESTful Interface S3- and Swift-compliant APIs S3-style subdomains Unified S3/Swift namespace User management Usage tracking Striped objects Cloud solution integration Multi-site deployment Multi-site replication Ceph Block Device Thin-provisioned Images up to 16 exabytes Configurable s
このページでは Ceph や RBD を使う上で分かり辛い RADOS、CRUSH、Placement Group の概念を掘り下げて説明する。 以下は関連ページ。 Ceph の覚え書きのインデックス Ceph を使ってみる Rados Block Device(RBD) を使ってみる Ceph の CRUSH マップの書き方 更新履歴 (2012.02.10) 作成。 (2012.10.27) Mapping Algorithm を追加。 目次 1. RADOS RADOS を使ってみる RADOS のファイルはどこに格納されたのか? 2. Replication 3. CRUSH バケット(Bucket) Bucket の種類 OSD の過負荷(overload)と残空き容量 4. Placement Group Placement Group を確認する オブジェクトを Placem
このページでは ceph の CRUSH マップの記述方法を説明する。 Ceph の設定手順の中では「Ceph を使ってみる」のSTEP7で必要になる。 以下は関連ページ。 Ceph の覚え書きのインデックス Rados Block Device(RBD) を使ってみる Ceph を使ってみる RADOS の概略 更新履歴 (2012.02.11) 作成。 (2012.02.14) 「CRUSHマップの取得・設定」と「テストツールを使った配置テスト」を追記。 (2012.04.02) 稼働中の CRUSH マップの確認方法を追加。 (2012.05.03) CRUSH マップの記述ルールを追加。 目次 CRUSHマップの取得・設定 構造 Devices Types Buckets Rules 注意事項 テストツールを使った配置テスト 稼働中の CRUSH マップの確認 例 コメント CRU
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第44回 分散ストレージ技術「Ceph」のからくり (中井悦司) 2014年6月 はじめに 先日、東京でLinuxCon Japanが開催されましたが、そのプログラムの一部として、「Gluster Community Day」というミニイベントが開催されました。タイトル通り、GlusterFSのコミュニティイベントですが、今回は特別枠(?)として、「Ceph(セフ)」のプレゼンテーションがありました(*1)。 Cephは、GlusterFSと同様に、オープンソースとして開発される分散ストレージ技術ですが、「分散ファイルシステム」だけではなく、分散型のオブジェクトストアやブロックデバイスとしても利用できるという特徴があります。当日のプレゼンでは、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く