LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog
Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi
check_drbd - Nagios Exchange
+++ Usage: check_drbd [-d ] [-e expect] [-p proc] [-r role] [-o states] [-w states] [-c states] [--debug] Options: -d STRING [default: 0. Example: 0,1,2 ] -p STRING [default: /proc/drbd. Use '-' for stdin] -e STRING [Must be this connected state. Example: Connected] -r STRING [Must be this node state. Example: Primary] -o STRING [Change value to OK. Example: StandAlone] -w STRING [Change value to
drbd.conf
ストレージには寿命があり、保存された情報は永遠に正常性を保証されるわけではありません。その為に別のストレージにデータをバックアップしたり、ストレージそのものを多重化してデータを保護することが重要です。今回紹介するは、ストレージデバイスを多重化し、データを複数のストレージに保存する仕組みで、DRBD(Distributed Replicated Block Device)と呼ばれているものです。同様の仕組みにソフトウェア／ハードウェアRAIDがあります。 DRBD(Distributed Replicated Block Device)とは、TCP/IPネットワークを通じて複数のサーバのストレージ（パーティション）をリアルタイムにミラーリング（複製）するソフトウェアです。RAID1のようなミラーディスクを構築することができます。ソフトウェア／ハードウェアRAIDは同じサーバ内のストレージを使
CentOS52_DRBDインストール、初期設定 - ベリラボ - wiki
導入環境 † CentOS 5.2 DRBD drbd82-8.2.6-1.el5.centos kmod-drbd82-xen-8.2.6-2 ↑ grub.confのバックアップ † drbdをインストールするとgrub.confが書き換えられOSが起動できなくなるため、 grub.confをバックアップしておき、drbdインストール後、戻す。 ※原因調査中。 # cp -ip /boot/grub/grub.conf ~/ ↑
DRBDとHeartbeat2でMySQLをHA対応にしてみる: 1/4 - DRBDのインストールと設定 - - メモ帳
2007/12に書いたものが埋もれていたので整理。 DRBDのインストール方法は、いくつかある。 1. drbd.orgからソースをダウンロードしてビルド、インストール 2. LINBIT社提供のRPMを利用する（有償） 3. MySQL Enterpriseのオプションを購入して、LINBIT社提供のRPMを利用する（有料） 4. CentOSのyumを利用する。（CentOS4.5ではVer.0.7.23のみdrbd本体とkernel module共に用意されているが、CentOS5ではVer.8.0.3のdrbd本体のみでkernel moduleは提供されていない。 ） 5. SUSE Linux（SUSE Linux Professional 9.3以降、SUSE Linux Enterprise Server 9以降）では標準パッケージとして提供されている（らしい） 今回は「L
DRBD+Heartbeat+NFS
まず、DRBDとHeartbeatの構築をしておきます。こちらは省略します。 続いて、Heartbeatの /etc/ha.d/haresoureces の設定を行ないます。 # vim /etc/ha.d/haresources testserver1 drbddisk::drbd0 Filesystem::/dev/drbd0::/var/drbd::ext3 IPaddr::192.168.99.3/24/eth0 こちらの設定で DRBD の復帰と、 /dev/drbd0 を /var/drbd へのマウント、仮想IPの割りあてが行なえます。もちろん、testserver1とtestserver2で /var/drbd を作成しておく必要があります。 # mkdir /var/drbd この段階で一度 heartbeat のテストをします。testserver1でheartbeat
DRBDのインストール
DRBDとはDistributed Replicated Block Deviceの略で、本家WEBサイトは http://www.drbd.org/です。 ブロックデバイス全体をネットワーク経由でミラーリングしています。 要は、昔はrsyncとcronを利用してミラーリングしていたものを、DRBDでできちゃうよということです。 Ruby案件で必要だったのでDRBDとHeartBeatを利用させてもらいました。 なかなか苦戦しましたが、先駆者がのこしてくれているありがたい情報を元に設定を行っていきました。 参考にさせていただいたのは、以下のサイトです。http://www.wbc.co.jp/~drbd/http://www.valinux.co.jp/contents/tech/techlib/eos/drbd_heartbeat/drbd_heartbeat_01.html Webサー
DRBD+heartbeat+LVM(on Fedora Core10)によるクラスタリング
こんにちは、亀本です。 今回は、PHPとかから少し離れて、サーバのクラスタリングのお話です。 ちょっと仕事で冗長化システムを組む必要があったので、せっかくなので記事にまとめました。 さて、ここで目指すのは、DRBDを使ったデータレプリケーションサーバ( Master / Slave 構成 )の自動フェイルオーバークラスタ( 非フェイルバック構成 )です。 ネットワーク構成としては、ルータから結ばれるLAN(eth0に接続)とは別に、eth1で１対１のLAN接続を行います。 また、heartbeatでのクラスタ構成後は、eth0に仮想IPとして192.168.1.100を割り振るようにします。 eth1の設定は、 # vi /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 HWADDR=00:00:00:00:00:00 ONBOOT
ふたつの川うるおう日記 - DRBD 8.xで初期同期をスキップする方法
<< 2008/11/ 1 2 1. RRDtoolのデータファイルをi386からx86_64環境へ移行する 3 4 5 1. Seasar Project用のHudsonテスト環境 6 7 8 9 10 1. スパムフィルタの設定を壮大に間違えてた・・・ 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1. 東京工業大学クローバルCOEプログラム”計算世界観の深化と展開” 25 26 27 28 1. DRBD 8.xで初期同期をスキップする方法 29 1. DRBD 8.3からは16TBのブロックデバイスを3台以上で同期できるようになる 30 1. DRBD 8.3がでるらしいと書いた傍からDRBD 8.3.0 rc1がリリースされた >> _ [Server][Admin][Linux] DRBD 8.xで初期同期をスキップする方法
ウノウラボ Unoh Labs: DRBDによるコンテンツの相互バックアップ
こんにちは satoです。 DRBDは誤解を恐れないで、簡単に言ってしまうと、ネットワーク越しにRAID1を構築できるオープンソースのソフトウェアです。 DRBDには以下の特徴があります。 ・カーネルモジュールで動作し、有償でサポートが受けられます ・電源等が壊れても、ソフトウェアRAIDやPICカード型のRAIDと違ってサービスを続けることができます ・heartbeat等と組み合わせて、HAなシステムを構築できます ・secondary(slave、待機系)はマウントすることができません。 DRBDの設定から使用までを簡単に解説しようと思います。また待機系が必要なのですが、待機だけではもったいないので、相互に違う領域をバックアップ(s1のsda3のバックアップ先は s2のsda3、s2のsda4のバックアップ先はs1のsda4)をしてみました。 構成 s1.unoh.n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog
DRBDとHeartbeat2でMySQLをHA対応にしてみる: 2/4 - DRBDの稼働テスト - - メモ帳
DRBD:What is DRBD