Hadoop SlaveサーバとJBODとRAID - カイワレの大冒険 Second
夏はビールがことごとくうまいなと感じる@masudaKです。 少し前にHadoop専用サーバの環境構築をする機会に恵まれたのですが、ディスク構成をどうするかでわりと目新しいことばかりだったので、備忘録も兼ねて文字に起こしておきます。 前提として、HadoopのMasterではJobTrackerとNameNodeが動いて、SlaveではTaskTrackerとDataNodeが動いてるとします。DataNodeが動くSlaveはクラスタ構成になっていて、HDFSによってデータが分散・冗長化されているとします。 今回の記事ではジョブのデータを読み書きし、IOに対するケアが必要なSlaveのディスク構成を対象とします。Masterはメタデータなど大事なデータは保存してますが、読み・書きの量は少ないのと、単にRAID1で組んでおけば、ディスクに対するケアはそこまで必要ないので、この記事では取り上
smartmontools
smartmontools contains utility programs (smartctl, smartd) to control/monitor storage systems using the Self-Monitoring, Analysis and Reporting Technology System (S.M.A.R.T.) built into most modern ATA and SCSI disks. It is derived from smartsuite. Features Schedule S.M.A.R.T. testing of your drive on a regular base with smartdsmartd prints log messages and triggers alert mails when a failure of y
RAIDコントローラのキャッシュ構成 - とあるSIerの憂鬱
コントローラがもっているキャッシュは『コントローラ・キャッシュ』と呼ぶ。 コントローラ・キャッシュをライト・キャッシュとして使用する場合、電源断でキャッシュ内容が消失しないよう、バッテリを内蔵する。 バッテリが無い場合、バッテリの充電が十分でない場合はライト・キャッシュを使用しないライト・スルーに自動で切り替わる。 バッテリ動作の期間内にコントローラ・キャッシュの内容を保持するだけでなく、不揮発のフラッシュ・メモリに書き込むものもある。 リード・キャッシュは効果が少ないため、HPのコントローラではリード・キャッシュ25%、ライト・キャッシュ75%の比率がデフォルト。 コントローラ・キャッシュはRAIDのパリティ計算などコントローラの作業用メモリとしても使われる。 HDD自体が持っているキャッシュ(バッファ)は『ディスク・キャッシュ』と呼ぶ。 サーバ向けのHDDではディスク・キャッシュは通常
構築運用屋から見たHDD＋αな話。 - おっホイ別館 − はてな村の物語
こちらのTogetterエントリ サーバのディスクの話 http://togetter.com/li/238411 に、大量にはてブがついているのをみて、今までの私の話などを。 このエントリが、何故に多くの人の関心を寄せるか…というと、「RAIDの一般化」という部分が大きいと思います。 今じゃSATA(&SAS)RAIDが、Intelチップに機能として搭載され、数万円台の外部NAS、RAIDカードで、RAID5,6どころか1+0や50まで構築できる時代。 「Diskが壊れても、データは壊れない！」という売り文句は、非常に魅力的だったりします。 今ではSATAのRAID1（HDD2本でミラーするだけ）なら、数千円のレベルでカードが買えますね。 では、Intelのチップセットや激安RAIDカードで、保護的RAIDを組んだ状況で、どれだけデータ保護が出来るかというと、 HDDの故障を救える確率と
RAIDレベルの話: 1+0と6はどっちが安全か？ - たごもりすメモ
仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。 1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1 知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運
橋本商会 » Inspiron Mini9に外付けUSB RAID HDDをつけてファイルサーバー化した
■ほしい機能 ただのNASではなく 音が静か RAID1でミラーリングしてデータが消えないようにしたい 家のdynamic dnsを更新 家の外からもe-mobileでsshでログインできたり、mercurialやgitのリポジトリを置ける rsyncで大学にある巨大なファイルをダウンロードさせておく作業を任せられる sambaでwindowsのファイル共有にも参加する 念のためモニタとキーボードも付いていて、ネットワークが壊れている時も操作しやすい Inspiron Mini9と外付けHDDどちらが壊れても迅速に入れ替え・復旧できる構成にしたい apacheとhgweb.cgiを動かしてmercurialのリポジトリビューアを置きたい 巨大ファイルのやりとりのためにapacheは動かしておきたい ■HDC2-U2.0の設定 まずRAID1に設定し直す。後でやると中身がフォーマットされるの
Amazon Web Services Developer Community : Configuring Amazon EC2 for RAID
Take advantage of the Large and Extra Large instances by configuring them to use RAID for more fault tolerance or better disk throughput. AWS Products Used: Editor's Note: The following tutorial only applies to instances launched after December 6, 2007. By Marcin Kowalski and Bruce Gutman, Amazon Web Services A Redundant Array of Independent Drives (RAID) is a method of grouping multiple drive
データを自動バックアップ！簡単設定のリムーバブルRAIDケース U2-DK2R[RATOC]
USB2.0ポートに接続するだけ！面倒な設定は不要 データ用と監視モニター用をUSB2.0ポートに統合したU2-DK2Rなら、USB2.0ケーブル１本でパソコンに接続するだけ。面倒な拡張ボードの増設や、RAID監視モニター用として要求されることが多いRS-232Cポートは不要です。 接続ドライブは通常のハードディスクとして認識。RAIDを意識することなく、外付けUSB2.0 HDDと同じように使用することができます。 障害によるディスク切替やオートリビルドなど、バックアップに必要な機能はU2-DK2R本体のRAIDコントローラに装備しているので、難しい設定は必要ありません。専門的なRAIDの知識がなくても、すぐに運用を開始することが可能です。 ディスクの増設が容易なリムーバブルケース採用 ■入手しやすく経済的なIDEハードディスクを使用 ドライブは、広く普及しているIDE仕様の3.5インチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://infra-engineer.com/hadoop/hadoop%E8%B1%A1%E6%9C%AC%E7%AC%AC2%E7%89%88-9%E7%AB%A0-%E3%80%8Chadoop%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E6%A7%8B%E7%AF%89%E3%80%8D%E3%81%AE%E3%81%BE%E3%81%A8%E3%82%81/
DRBD:What is DRBD
オープンソフトウェア：2007年度 事業成果一覧：IPA 独立行政法人 情報処理推進機構
ハードディスクケース：SATAボックスレイド：EX35PM4B