Cephのアーキテクチャの解説、最新動向、ベンチマークや事例などを掲載したスライドです。 第1回サービスプロバイダー様向け技術勉強会Read less
Zenlogic障害報告書がリリースされる 本日、2018年7月17日(月)に、かなりの世間の関心ごととなった、Zenlogic高付加障害についての報告が出稿されています。 報告書(全文) Web https://zenlogic.jp/news/status/syogai/cause/ PDF https://zenlogic.jp/pdf/report/20180717.pdf 障害の原因(転記) ストレージシステムを含む、クラウド基盤を提供・管理するヤフー株式会社から、高負荷状態に陥った原因として、以下の報告を受けております。 [概要] 事象A:ストレージシステムのキャパシティプランでの想定を上回る負荷上昇による一時的な高負荷状態 事象B:事象Aへの対応に伴い、二次的に生じた長期間にわたる高負荷状態 [原因] 事象Aに対する原因 (1)2018年6月からストレージシステムに対する負荷
Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も Cloud Native Computing Foundationは、Kubernetesにストレージ機能を統合する「Rook」を15番目のプロジェクトとして承認した。Rookの最初のターゲットはKubernetesにCephを統合することである。 Dockerコンテナを用いた分散アプリケーションのオーケストレーションツールであるKubernetesは、現在のところクラスタ化されたコンテナの死活管理といったオーケストレーション機能を提供するソフトウェアです。 Kubernetesの開発を主導しているCloud Native Computing Foundation(以下CNCF)は、Kubernetesにストレージ管
EMCは米ラスベガスで5月4日から4日間開催したイベント「EMC World Las Vegas 2015」で、ブロックストレージ機能を提供する分散ストレージソフトウェア「ScaleIO」の無償提供を発表しました。 ScaleIOはもともと同社が2013年に買収したScaleIO社の製品で、その後EMCの製品としても販売。コモディティサーバにインストールすることでそのサーバをストレージサーバにするもので、最大の特長はスケールアウト機能です。ScaleIOによるストレージサーバをネットワーク上で増やしていくと、台数に応じてI/O性能も向上します。 また、ScaleIOはストレージサーバの動的な追加や削除が可能で、一部のサーバが障害で落ちても全体としての運用は継続可能など、耐障害性も備えています。 分散ストレージによってブロックストレージ機能を実現するソフトウェアとしては、オープンソースのCe
更新履歴 2014/10/11 cephx auth無効化しないでmap imageできたので、修正しました Docker環境ではDBファイル等を保存する永続データストアは、各ホストのローカルストレージに置いてしまうとコンテナがホストを移動できなくなってしまうので、外部共有ストレージを使う必要があります。AWS/GCP等のパブリッククラウドでは、目的に応じてストレージサービスを選べばいい訳ですが、ローカル環境では耐障害性を考慮した外部共有ストレージを用意する必要があります。 高価なNAS/SANストレージにかわる共有ストレージとして注目されている、CephをCoreOS上のDockerコンテナからマウントできるか試してみました。 Cephを使用する方法として、オブジェクトストレージ(AWS S3/Openstack SWIFT互換 REST API)、POSIXファイルシステム、ブロックデ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウド基盤であるcybozu.comのストレージに関する様々な要件を満たすために分散ストレージソフトウェアCephを導入する予定です。本記事ではCephとは何者かについて紹介いたします。Cephが持っている機能は膨大な数にのぼるため、ここでは一部の機能に絞って紹介したいと思います。 概要 Cephはオープンソースの分散ストレージソフトウェアです。2004年以前からカリフォルニア大学で開発され、2006年にオープンソース化されました。現在ではRed Hat社をはじめとするさまざまな企業、あるいは個人によって活発に開発されています。Cephは例えばOpenStack のストレージ機能(Cinder, Swift, やGlanceなど)の選択肢の1つとして使われています。 Cephは複数台のマシン上のス
こんにちは、Red Hat でストレージを中心にクラウドインフラを生業にしている宇都宮です。 さてみなさん、「ちょっとしたオブジェクトストレージが作りたいなあ」なーんて思ったことはありませんか?オブジェクトストレージを扱うアプリケーションを開発してる方とか。OpenShiftみたいなCloud Nativeなプラットフォームを作ってる方とか。バケットの事を考えると眠れなくなるほどオブジェクトストレージが好きで伝説の樹の下で…ゴニョゴニョ え?本家のS3を使うから大丈夫?確かにそれは一つの答えです。ですが安いとは言えお金がかかるし、インターネットを超えるからスループットやレスポンスは落ちるし、できればオンプレがいいなあ、みたいな。 "ちょっとしたファイルストレージ" ならサクッとNFSサーバーを建てれば当面解決できるんですけどね。オブジェクトストレージはそういうのがあまり無いんですよね。
冬休みの宿題として、Mesos+Docker でアプリちゃんと動かしたい!→Shared Filesystem が欲しい →Ceph やりたい!→AWS の orchestration が必要 →Terraform 面白い!という yak shaving を経て、なぜかずっと Terraform をいじってました。とりあえずちゃんと動くのができたので公開。 riywo/mesos-ceph Terraform module for Mesos + Ceph cluster and Packer template – As a SW/Ops/DB Engineer 細かい話は 1 年ぶりの英語で適当に書きなぐったつもりなので、こちらにはポエムでも。 Terraform 面白い このブログとかを移行しようと考えてて、AWS を遊びじゃなくて運用しようとしたら、VPC とかサーバ以外に管理しなき
レッドハットは2014年5月14日、2014年度(2013年3月~2014年2月)の日本法人の事業方針と戦略を発表した。レッドハットの廣川裕司社長(写真)は、パートナー営業を強化するなどして「Linux市場の成長の倍のスピードで売り上げを拡大する」と語った。また注力する技術分野としては、コンテナ型仮想化技術である「Docker」やデータベース(DB)などの運用に適した分散ブロックストレージ「Ceph」などを挙げた。 パートナー営業強化策については同日、認定パートナー(Red Hat Business Partner)を現在の250社から500社に倍増する方針を発表。このほか、パートナーが顧客に提案する案件を事前にレッドハットに登録することでレッドハットが提案を支援を行えるようにする「ディールレジストレーションプログラム」などを発表した。 技術面では、IaaS(インフラ・ストラクチャー・アズ
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第44回 分散ストレージ技術「Ceph」のからくり (中井悦司) 2014年6月 はじめに 先日、東京でLinuxCon Japanが開催されましたが、そのプログラムの一部として、「Gluster Community Day」というミニイベントが開催されました。タイトル通り、GlusterFSのコミュニティイベントですが、今回は特別枠(?)として、「Ceph(セフ)」のプレゼンテーションがありました(*1)。 Cephは、GlusterFSと同様に、オープンソースとして開発される分散ストレージ技術ですが、「分散ファイルシステム」だけではなく、分散型のオブジェクトストアやブロックデバイスとしても利用できるという特徴があります。当日のプレゼンでは、
Linus Torvalds氏は5月16日(太平洋夏時間)、Linuxカーネル2.6.34の正式公開を発表した。 今回のリリースで最も"エキサイティング"な機能追加は新たに採用された2つのファイルシステム「Ceph」と「LogFS」。Cephは、複数のストレージ間にデータを分散できるObject Storage Device(OSD)を核の技術としており、テラバイトからペタバイトまでの大容量ストレージを扱えるファイルシステム。RAIDとは異なり、複数の分散ストレージにデータのレプリカを保存できる信頼性の高い負荷分散機能が特徴。IBMが中心となって開発が進められていたが、今回よりめでたくメインストリーム入りとなった。もうひとつのLogFSはSSDなどフラッシュデバイスの高速アクセスを可能にするファイルシステムである。 そのほかの主な機能追加および改良点は以下の通り vhost-net … K
連載バックナンバー IaaS構築・運用環境として注目を集める「OpenStack」でストレージを使用する場面としては、Compute service(Nova)が使用するファイルシステム、Image service(Glance)、Volume service(Cinder)、Object storage(Swift)などが挙げられます。 本連載では、OpenStackのストレージ環境として注目を集めているOSSの分散ストレージ「Ceph/RADOS」について見ていきます。同じくOSSストレージインフラの選択肢としてCeph/RADOSと並んで検討されることの多いGlusterとの比較にも言及する予定です。 はじめに:Cephとは? RADOSとは? Cephの名前は頭足類を意味するCephalopodsに由来しています。開発者のペットであるタコのニックネームとして使われているそうです(*
Welcome to Ceph¶ Ceph uniquely delivers object, block, and file storage in one unified system. Ceph Object Store RESTful Interface S3- and Swift-compliant APIs S3-style subdomains Unified S3/Swift namespace User management Usage tracking Striped objects Cloud solution integration Multi-site deployment Multi-site replication Ceph Block Device Thin-provisioned Images up to 16 exabytes Configurable s
このページでは ceph のインストール方法と基本的な使い方を解説する。 以下は関連ページ。 Ceph の覚え書きのインデックス Rados Block Device(RBD) を使ってみる Ceph の CRUSH マップの書き方 RADOS の概略 更新履歴 (2011.12.26) Linux の configuration の変更方法を追加。 (2012.02.10) レプリケーション数の変更を追加。 (2012.03.07) 「モニタサーバとメタデータサーバの名前」と「OSD サーバを内部ネットワークにと外部ネットワークに別々につなげる」を追加。 目次 1. Ceph とは 2. インストール 2.1 OS のインストール 2.2 OS インストール後の設定 2.3 ceph のインストール 3. ファイルシステムの作成とマウント 3.1 構成の設計 3.2 ファイルシステムの作
こんにちは。「Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020」6日目は、タイトルの通り、ストレージ初心者だった筆者がCephのベンチマークを計測した際に学んだストレージシステムの性能指標とCephに代表されるような分散ストレージを計測する上での特徴や注意点について簡単にまとめます。 Rookではなくてもクラウドネイティブなストレージに関する投稿であればヨシという参加条件でしたので、Rookでもよく利用されているCephをこよなく愛する筆者としては、のりと勢いだけで応募しました。ろくに熟考もせず記載しているため間違いがあれば優しくご指摘ください! はじめに さて、本記事は上記の通り、ストレージ素人だった筆者がCephのベンチマーク等を担当したときに、事前にこんな知識を知っておきたかったと感じた事柄について、記載したいと考えております。 また断り
Cephがスケールできる理由、単一障害点を排除する仕組み、負荷を減らす実装:Ceph/RADOS入門(4)(1/4 ページ) Ceph/RADOS が採用しているCRUSH、Paxosといった、分散したデータから正しく応答するための仕組みを支えるアルゴリズムの概要を学びながら、挙動を見ていきます。 連載バックナンバー 本連載では、オープンソースの分散オブジェクトストレージであるCeph/RADOSの技術詳細、実装について見ていきます。第1回ではCephの概要を、第2回ではCeph/RADOSを構成する要素を、第3回では実際にインストールして動作させるところまでを見てきました。 第4回である今回は、Ceph/RADOSの動作する仕組みについて、採用している分散アルゴリズムや単一障害点をなくす仕組み、メタデータ削減の方法などを見ていきます。 Ceph/RADOSのアーキテクチャ概要 Ceph/
SUSEは、オープンソースとして開発されている分散ストレージ「Ceph」をベースにした「SUSE Storage」のベータ版を発表しました。 Cephはストレージを備えた複数のLinuxサーバを束ねて巨大なストレージに見せる分散ストレージを実現するソフトウェアです。数ペタバイトにまで容量を増やせる高いスケーラビリティと、自己管理機能および自己修復機能を備えているのが特長。 オブジェクトストレージとしてだけでなく、ブロックストレージやファイルシステムとして利用することもでき、OpenStackで利用するストレージとして注目が高まっています。 SUSEのプレスリリースでは、SUSE StorageはCephのFireflyリリースをベースとし、主な機能として、キャッシュ階層化、シンプロビジョニング、遠隔レプリケーション、コピーオンライト方式のクローン作成、イレイジャーコーディング(消失訂正符号
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「OpenStack Summit Tokyo 2015」では、OpenStackのコアコンポーネントに加えて、OpenStackと連携する技術に関する数多くのセッションが見受けられた。ここでは、OpenStackと連携する分散ストレージソフトウェア「Ceph」のオリジナル開発者であるSage Weilによるセッションを紹介する。 OpenStackの定番ストレージとなった「Ceph」 今回のOpenStack Summit開催に先駆けて、OpenStack Foundationが実施したユーザーサーベイでは、62%のユーザーがOpenStackのブロックストレージコンポーネント「Cinder」のバックエンドとしてCephを使用している
OpenStack環境下の分散ストレージとして注目を集めるCeph/RADOS。今回は各コンポーネントを深掘りして挙動を理解していく。分散の仕組みや特徴を理解することで、より良いシステム構成検討を目指そう。 連載バックナンバー Ceph/RADOSの実装から動作の仕組みを理解する 前回の記事ではCeph/RADOSの成り立ちや、注目されている理由、他の類似プロダクトとの違いを見てきました。 今回はCeph/RADOSがどのような構成で分散ストレージを実現しているのかを理解していきましょう。 Ceph/RADOSの実装を見る まず、Ceph/RADOSの技術的な概要を見ていきましょう。 Ceph/RADOS環境は、分散オブジェクトストレージであるRADOSがベースとなっています。RADOSはアプリケーションから直接使用する他、コンポーネントを足すことで各種サービスインターフェース(ブロックイ
レッドハットのホワイトハーストCEOに、OpenStack、Ceph、Ansibleについて聞いた:一般企業のOpenStack採用は レッドハットは11月4日、東京都内でRed Hat forum 2015を開催した。来日した米レッドハットのCEO、ジム・ホワイトハースト氏は、プレス向けの説明会で同社の戦略を説明するとともに質問を受け付けた。筆者は、同社にとってのOpenStackの戦略的な意味、およびCephのInktank、Ansibleを買収した狙いについて聞いた。 レッドハットは11月4日、東京都内でRed Hat forum 2015を開催した。来日した米レッドハットのCEO、ジム・ホワイトハースト氏は、プレス向けの説明会で同社の戦略を説明するとともに質問を受け付けた。筆者は、同社にとってのOpenStackの戦略的な意味、およびCephのInktank、Ansibleを買収し
riywo/mesos-ceph I’ve just tried to use Terraform and Packer to create a Mesos + Ceph cluster in AWS. Yes, I know Mesosphere applications supporting deployment of Mesos cluster in some IaaS (see Getting Started), but I’d like to understand what’s going on there. So, I did it by Terraform and Packer. I’m gonna explain a little bit more about this. Through this work, I’ve learned a lot of things. I
はじめに こんにちは、Necoプロジェクトのsatです。本記事では分散ストレージCephのオーケストレータであり、Kubernetes上で動作するRookに関するものです。このRookに存在していたデータ破壊バグを我々が検出、修正した体験談、およびそこから得られたことを読者のみなさんに共有します。本記事は以前Kubernetes Meetup Tokyo #36におけるLTで述べた問題のフォローアップという位置づけです。 speakerdeck.com "解決までの流れ(詳細)"の節以外はRookやCephについて知らなくても適宜用語を説明するなどして読めるように書きました。 Rook/Ceph固有の話にも興味があるかたは以下の記事/スライドも併せてごらんください。 blog.cybozu.io speakerdeck.com 用語 Rook/Cephについて知らないかた向けに、まずは本節
Cephはオープンソースの分散ストレージソフトウェアです。2004年以前からカリフォルニア大学サンタクルーズ校(UCSC)で開発され、2006年にオープンソース化されました。同校のマスコットキャラクターが頭足類をモチーフとしていることから、タコなどの頭足類を意味するcephalopodからCephと名付けられました。タコの足が同時並行的に動作する様子を示唆していると言われています。 Cephには、次のような特長があります。 柔軟なアクセス方式:用途に応じて、オブジェクト単位だけでなく、ブロック単位、ファイル単位でアクセスが可能 優れた拡張性:1万台の装置、EB(エクサバイト、PB:ペタバイトの1,000倍)規模の容量に容易にスケールアウト、スケールアップが可能なアーキテクチャー 高信頼性:メタデータサーバを使わずにアルゴリズムによりデータを配置するためパフォーマンスが高く、構成変更時のデー
CephはLinux上で動作する分散ファイルシステム(Distributed File System)、ということでOpenStackのストレージに採用する目的で使い始めました。 まずは軽く基本インストール手順から記していきます。 選んだ理由 OpenStackに使うのに選んだ理由は色々ありますが… Cephの過去Verは不安定と言われていたが、最近はわりと落ち着いたらしい SwiftをGlanceだけに使うにはSwiftは扱いが重たい Cinderに高価な共有ストレージを使うつもりはない なんとCephはGlanceでもCinderでも使えるではないか Cephは冗長性/拡張性に優れているらしいのでHDFS経験者として好ましい ほぼ採用を決定していますが、重要な運用面はこれから検証していく状況になっています。 リンク 本家 Ceph本家 RELEASE NOTES 概要 ceph: di
The Linux Foundationは、オープンソースとして開発されている分散ストレージソフトウェアの「Ceph」を推進する団体「Ceph Foundation」を設立したと発表しました。 Cephはクラスタ構成にした複数台のサーバをソフトウェアの仕組みによって巨大な1つのストレージとして扱うことができる、いわゆる分散ストレージを実現するソフトウェアです。 しかもファイル単位でアクセス可能なファイルストレージ、オブジェクト単位でアクセス可能なオブジェクトストレージ、ブロックデバイスとしてアクセスできるブロックストレージの3種類のストレージをすべてCephで構築できる点が大きな特徴でしょう。 分散ストレージゆえに、サーバを追加することでストレージの容量や性能を向上させていくことも可能です。 今後はCeph Foundationが方針などを策定 これまでCephはコミュニティメンバーから構
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第44回 分散ストレージ技術「Ceph」のからくり (中井悦司) 2014年6月 はじめに 先日、東京でLinuxCon Japanが開催されましたが、そのプログラムの一部として、「Gluster Community Day」というミニイベントが開催されました。タイトル通り、GlusterFSのコミュニティイベントですが、今回は特別枠(?)として、「Ceph(セフ)」のプレゼンテーションがありました(*1)。 Cephは、GlusterFSと同様に、オープンソースとして開発される分散ストレージ技術ですが、「分散ファイルシステム」だけではなく、分散型のオブジェクトストアやブロックデバイスとしても利用できるという特徴があります。当日のプレゼンでは、
20. [ ] tatsuya@ceph2c:~$ fio fio-scenarios/seqwrite-ceph-001w-test.fio seq-write: (g=0): rw=write, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1 Starting 1 process seq-write: Laying out IO file(s) (1 file(s) / 1024MB) Jobs: 1 (f=1): [W] [100.0% done] [0K/37768K /s] [0/9220 iops] [eta 00m:00s] seq-write: (groupid=0, jobs=1): err= 0: pid=5370 write: io=1024MB, bw=37681KB/s, iops=9420, runt= 27828msec cl
こんにちは!@jedipunkz です。 今回は Havana 版の OpenStack Glance, Cinder と分散ストレージの Ceph を連携させ る手順を書いていきます。元ネタはこちら。下記の Ceph の公式サイトに手順です。 https://ceph.com/docs/master/rbd/rbd-openstack/ この手順から下記の変更を行って、ここでは記していきます。 Nova + Ceph 連携させない cinder-backup は今のところ動作確認出来ていないので省く 諸々の手順がそのままでは実施出来ないので補足を入れていく。 cinder-backup は Cinder で作成した仮想ディスクのバックアップを Ceph ストレージ 上に取ることが出来るのですが、そもそも Ceph 上にある仮想ディスクを Ceph にバッ クアップ取っても意味が薄いですし
ホスティング事業者の米DreamHostは10月15日(米国時間)、OpenStackべースのパブリッククラウド「DreamCompute」を発表した。自社が開発を率いるオープンソースの分散ストレージシステム「Ceph」を特徴とし、拡張性と信頼性を特徴とする。 DreamHostはWebホスティングサービスを提供する企業で、DreamComputeは同社にとって初となるクラウドコンピューティングサービスとなる。DreamComputeは自社も開発に参加するオープンソースのクラウド基盤プロジェクトOpenStackをベースとしたパブリックIaaS(インフラ・アズ・ア・サービス)で、開発者と起業家向けとうたっている。 OpenStackのクラウドプラットフォームをベースとし、ストレージブロックCeph、米VMwareが買収したNiciraのネットワークサービス仮想化技術「Nicira NVP(
2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1
Steven J. Vaughan-Nichols (Special to ZDNET.com) 翻訳校正: 編集部 2015-09-18 11:40 Red Hatの「Ceph」のコミュニティサイトと、Cephの商用展開を行っているInktankのダウンロードサイトの両方がクラッキングを受けていたことが明らかになった。 実際に何が起こったのか、コードの改変があったのかなどの詳細については、まだ分かっていない。Red Hatは、「侵入に関する調査はまだ進行中だが、われわれはまず両サイトで提供されるソフトウェアと配布チャネルの完全性について集中して取り組んだ」と述べている。 良いニュースは、「現在までの調査では、これらのサイトにダウンロード可能な改変されたコードは見つかっていない」ことだ。一方悪いニュースとして、Red Hatは「過去の特定の時点で、一部改変されたコードが提供されていた可能性
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く