タグ

Linuxとraidに関するyassのブックマーク (14)

  • 「ディスク」への書き込み性能を上げるには - (ひ)メモ

    ユーザランドのプロセスから見たwrite(2)は、ページキャッシュのおかげで(メモリが潤沢にある環境下では)ブロックされない(待たされない)というのは id:naoya さんの丁寧な解説のおかげでわかると思うのですが、一方、fsync(2)などの実際にディスクに書き込む処理、 あと id:hirose31 さんがコメントしてますが、アプリケーションが SYNC モードでファイルを開いてたり、明示的に fsync() してたりするとそこで wait が発生するのは言わずもがな、です。 Linux I/O のお話 write 編 - naoyaのはてなダイアリー The fsync() function does not return until the system has completed that action or until an error is detected. fsync

    「ディスク」への書き込み性能を上げるには - (ひ)メモ
    yass
    yass 2012/03/09
    " ユーザランドのプロセスから見たwrite(2)は、ページキャッシュのおかげでブロックされない / fsync(2)などの実際にディスクに書き込む処理は「ディスク」自身が『書き込みが終わったよ』というまでブロック "
  • Mdadm Cheat Sheet

    Mdadm is the modern tool most Linux distributions use these days to manage software RAID arrays; in the past raidtools was the tool we have used for this. This cheat sheet will show the most common usages of mdadm to manage software raid arrays; it assumes you have a good understanding of software RAID and Linux in general, and it will just explain the commands line usage of mdadm. The examples be

  • Increase the speed of Linux Software RAID reconstruction

    If you are in a situation where you sit in front of the console (or on a remote ssh connection) waiting for a Linux software RAID to finish rebuilding (either you added a new drive, or you replaced a failed one, etc.) then you might be frustrated by how slow this process is running. You are running cat on /proc/mdstat repeatedly (you should really use watch in this case ;)), and this seems to neve

    yass
    yass 2009/05/06
    /proc/sys/dev/raid/speed_limit_min
  • Recovery of RAID and LVM2 Volumes | Linux Journal

    The combination of Linux software RAID (Redundant Array of Inexpensive Disks) and LVM2 (Logical Volume Manager, version 2) offered in modern Linux operating systems offers both robustness and flexibility, but at the cost of complexity should you ever need to recover data from a drive formatted with software RAID and LVM2 partitions. I found this out the hard way when I recently tried to mount a sy

  • リモートファイルシステムを使ってRAID-1を構成できるChiron FS | OSDN Magazine

    LinuxカーネルはRAID-1の実行をソフトウェアでサポートしている。RAID-1では、1つのファイルシステムを2台以上のディスク装置で保持するため、障害が発生しても最後のディスクさえ生き残っていればすべてのデータを復旧できる。すばらしい仕組みだが、メモリや電源ユニットなど、ほかのハードウェアコンポーネントが故障した場合にはやはり貴重なデータが失われる可能性がある。だが Chiron FS を使えば、ネットワーク上の2台のマシンが持つディスクで1つのRAID-1を構成でき、一方のマシンがダウンしてもファイルシステムにアクセスし続けることができる。 RAID-1構成が維持された状態で一方のマシンに障害が発生した場合でも、ネットワーク接続が無事であれば、障害で破損したファイルがChiron FSによって他方のマシンに複製(レプリケーション)されるおそれがある。だが、2台のローコストPCとネッ

    リモートファイルシステムを使ってRAID-1を構成できるChiron FS | OSDN Magazine
  • オープンソフトウェア:2007年度 事業成果一覧:IPA 独立行政法人 情報処理推進機構

    OSS人材育成のOSSモデルカリキュラムページをIT人材育成iPediaに移動いたしました。 今後は、下記IT人材育成iPediaのOSS人材育成をご覧いただきますようにお願い致します。 URL:https://jinzaiipedia.ipa.go.jp/it_platform/education/oss

  • コスいチューニング - フツーな日常

    全く質的でなく効果も小さいものばかりだけど、最後のひと絞りにどうぞ。 Hardware HT無効 今時サーバでNetBurstもないだろうけど、使っているなら切った方が速い。並列実行度が高くなるには違いないが、spin lockとHTは相性がよろしくないし、そもそもNetBurstのHTは速くなる局面が少なすぎる。いっぱいプロセッサが見えるのは気持ちいいが、実効性能を考えると無効の方が速い。 RAID1+0 ブロックサイズは大きめで(256KBとか)にする。"1つのレコードの大きさ <= RIADのブロックサイズ"である状態だと、RAIDを構成する複数のディスクのうち1個へのリクエストで処理が完結するので具合が良い。逆に"1つのレコードの大きさ > RAIDのブロックサイズ"であると、1レコードの読み出しにも2個のディスクがその処理にかかり切りになってしまう。HDDの毎秒の処理回数は上限

    コスいチューニング - フツーな日常
    yass
    yass 2007/12/04
    " ブロックサイズは大きめで(256KBとか)にする。"1つのレコードの大きさ <= RIADのブロックサイズ"である状態だと、RAIDを構成する複数のディスクのうち1個へのリクエストで処理が完結するので具合が良い。"
  • ファイルサーバとしての拡張2 - SoftwareRAID5でテラバイト -

    こちらのページにまとめたように,現在の内蔵ディスク の状況は,hdc に接続していた 5A250J0 がディスククラッシュにより交換のやむなきを得て, 現在は WD2500JB に交換したという変更はあるものの,250GB*3の合計750GBの構成に変りは ありません.そしてこれに対応すべく,バックアップ方法を こちらのページに記載したように,IEEE1394a で接続した 250GBディスク4で取るようにしました.しかし,X4HD-1394 を Linux で使用すると何故か Hot Plug 周りでトラブることがあり,難渋していたのは先のページに記載した通りです. その後, MPEG2 ハードエンコードキャプチャカード が 調子良く Linux で動き, Webベースで容易に録画予約出来るようになった関係で, ディスク使用量やファイルの出入りも半端でなくなりました.そして何とかディス

  • ウェブリブログ:サービスは終了しました。

    「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧

    ウェブリブログ:サービスは終了しました。
  • http://www.miraclelinux.com/faq/data/00080.html

  • Software-RAID設定メモ

    1.目的 RAIDというしくみは多くの方がご存知のとおり、ディスクシステムを冗長化するしくみです。詳しくはその手の読み物をご覧ください。 エンタープライズ向けのサーバでRAIDを構成するなら、通常Hardware-RAID(RAIDコントローラチップ搭載ディスクアレイ)を用います。この方が信頼性が高く、構築も容易です。 しかしコストの制約等々で自宅向けやSOHO向けにこのようなハードウエアが用意できないorする気がない場合でも、冗長化は興味がありますよね。僕んちがメインで使っているNetWare(というサーバ用OS、と書かなくては通じない人が多いのかな(爆))では、標準でこの機能が組み込まれていまして、HDDが偶数台あれば簡単にRAIDが構成できましたが、Linuxではそうはいきませんでした。しかし、カーネル2.4から(パッチを当てれば2.2系列でも)Linuxで安価にRAIDを構成で

    yass
    yass 2005/09/06
    ブートローダーインストール
  • SOHO DIY - VOL.1 PART5

    RAID0はストライピングと呼ばれ、高速化のみを追求したものです。冗長性は全くありません。サーバとしてはシステムダウンにつながる部分には絶対に使ってはいけません。 RAID1はミラーリングと呼ばれ、2台以上のディスクに全く同じデータを記録することで冗長化するものです。記録できる容量はディスク何台の構成でも1台分となります。ディスク2台構成の場合、片方が故障しても稼動を続けることができます。RAID1は方式が単純なため、特別なハードウェアを必要とせず、低コストで組むことができます。ディスク容量利用率が悪いのが欠点ですが、ハードディスクの大容量化・低価格化が進んだ現在では特に目だった欠点では無くなりつつあります。 RAID5はデータとデータのエラー訂正用のパリティを複数のディスク(通常3台以上)に分散して記録します。ディスクアレイ中の1台が故障しても、残りのディスクで稼動を続けることができます

    yass
    yass 2005/09/06
    ソフトウェアRAIDとハードウェアRAID
  • ソフトウェアRAID1のつくりかた

    はじめに サーバー機にとって、ハードディスクに記録されているデータは非常に大切なものです。バックアップはとっていますが、1日に1回とかの頻度では日々刻々と更新されるデータを完全に保護することはできません。特に不安なのはハードディスクが機械的に故障することによってサーバーが停止し、データのリカバリーもできなくなってしまう(業者に出せばリカバリー可能らしいがそこまで自宅サーバーでする気にはならない)という事態です。そこでRAID1を組むことによりハードディスクの信頼性をアップし、万一の故障時にもリカバリーを可能にすることを考えます。RAIDはハードでやる方法(RAIDカードを増設) とソフトでやる方法があります。ハードでやるのは高速に動作するのですがお金が余分にかかります。ソフトでやる方法では、Fedora CoreにはRAIDのソフトが実装されていることからもう1つハードディスクを追加するだ

  • mdadm(8) ver.1.5 man page [日本語]

    RAID デバイスは 2 つ以上の実ブロックデバイスを用いて作られた仮想デバイスである。 複数のディスクドライブやパーティションをまとめて 1 つのファイルシステムとして利用することができる。 RAID のレベルによるが、データの記録を冗長化させることができるためディスクの故障によるデータ損失を回避できることが期待できる。 Linux のソフトウェアRAIDは md (Multiple Devices) デバイスドライバとして実装されている。 現状 Linux ではリニアmd デバイス,RAID 0 (ストライピング),RAID 1 (ミラーリング),RAID 4,RAID 5,RAID 6 そしてマルチパス(MULTIPATH) がサポートされている。 マルチパスというのはソフトウェア RAID ではく、物理的に 1 つの記憶装置を複数のパスでアクセスできるようにしたものであり、 複数の

  • 1