Proxmox VE 6.2と他のZFSプールを1ストレージに同居させる
共存ストレージにパーティションを作成する。 GPTを作る # fdisk /dev/nvme2n1 Welcome to fdisk (util-linux 2.33.1). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Device does not contain a recognized partition table. Created a new DOS disklabel with disk identifier 0x5133f831. Command (m for help): g Created a new GPT disklabel (GUID: CEAAD3D1-5B58-524F-8E0D-26F
FreeBSDサーバーのディスクを壊れてないけど交換...と思ったら別のところが壊れた - kuenishi's blog
こういうことです A post shared by Kota UENISHI (@kuenishi) on Jan 9, 2018 at 6:25am PST まとめると… 2TBx4 の構成だったけど年末セールで安いゾってので 4TBx4 に換装するかーと思ってハードディスクを手配 一枚ずつ zpool replace していく作戦 メーカーによって replace の性能が全然違う そうこうしているうちに zroot に使っていたSSDがREAD_ERRORを吐きはじめてピンチ そっちを対処 なんとか時間をかけて 4TB x4 にアップグレード これまでの構成は ada0 - SSD 128TB ada1 - SG 3TB ada1 as 予備 ada2 - WD 2TB diskid/DISK-WD-WMC4M0F82E9F ada3 - WD 2TB diskid/DISK-WD-
LinusがZFSにLKMLで言及した件 - kuenishi's blog
先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ
メモリ16GBは人権の今、ZFSの重複排除(dedup)を解禁する
（2020-12-15 追記） dedup有効状態で10ヵ月弱使ってみたけど、やっぱりまだ解禁しない方がよさげ。メモリ的には余裕だが、ファイル削除に時間がかかるようになったり微妙に怪しげな挙動をすることがある（何となくレコード毎に重複チェックが走り本当に削除するかどうかを決定しているような感じ。ファイルサイズと削除所用時間は比例する。要検証）。データの破損や消失は起きてないので、そういった意味での危険性はないが、有効にするなら何が起きても自己責任ってことで！ ZFSは2010年頃のPool Version 21で重複排除機能(dedup)を備えたが、本機能の使用は長らく禁忌とされてきた。というのも、Chr〇meも真っ青のレベルでメモリを馬鹿食いするからだ。ZFSの他の機能同様、dedupも有効にした後の書き込みから機能するため、当初は問題なく動いてるように見える。が、徐々にメモリが使われて
ZFS Tips [Share FreeBSD based information]
ZFS Tips ZFS を運用するにあたってのチップスです。 atime は off に UNIX の伝統的なファイルシステムには atime というアクセスされた時刻を保持するフィールドがあります。 ZFS もこの機能をサポートしておりデフォルトでは on に設定されています。 しかし、Copy On Write を基本とする ZFS と atime は非常に相性が悪く、性能劣化を引き起こす要因になります。 なぜならば読み込み操作を行うたびに atime の更新という書き込み処理が発生し、全ての書き込みは Copy On Write で一度コピーが作成されるため、読み込み操作の数に比例して作業用にディスク容量を必要とすることになります。 性能面、資源面ともにデメリットとなりますので、off にしましょう。 なお、FreeBSD のインストーラから ZFS root でインストールした場
BHyVeとZFSで、とてもお仕事が捗った話 - Qiita
はじめに BHyVeお手軽スクリプトを作って以来、手元ではVMをホイホイ動かしたり止めたりしています。ここではそのBHyVeお手軽スクリプトとZFS環境が製品開発に大変役に立ったという実例を紹介したいと思います。 アプライアンス開発のステップ 製品としてのアプライアンスを作る場合、最終的に出荷イメージを作りハードウェアに展開する形になると思います。出荷イメージの開発作成はこんな流れになると思います。 OSの基本部分をインストールする OSの標準的な追加アプリケーションをインストールする。 OSの動作に必要な設定を行う。 アプライアンスに必要なアプリをインストールする アプライアンスのアプリの動作設定を行う アプライアンスとしての動作試験を行う 出荷イメージを作る 各ステップでは、動作確認を行い動作が確認してOKであれば次へ、BADであれば前に戻ってやり直しとなるわけです。 ここで問題となる
Delphixのアーキクチャと基盤となるテクノロジ (ZFS, Oracle Database) | コーソルDatabaseエンジニアのBlog
TOP BLOG 技術ブログDelphixのアーキクチャと基盤となるテクノロジ (ZFS, Oracle Database) コーソルDatabaseエンジニアのブログ 技術ブログ 渡部です。 Delphixが提供する機能はパワフルですが、実はこの機能はDelphixだけを用いて実装されているわけではありません。 ZFSとOracle Databaseの技術をうまく活用して複製DB関連の機能を実装しています。 詳細はあとで説明しますが、ソースデータベース（≒本番データベース）からのデータ収集と複製DBの作成にOracle Databaseの機能を、本番データベースから収集した多数のファイルの管理にZFSの機能を活用しています。 Delphixの内部アーキテクチャ 個々のテクノロジを見る前に、Delphixの内部アーキテクチャから見たシステム構成を確認してみましょう。 ポイントは以下の通りで
FreeBSD 11.2-RELEASEでZFSのトップレベルvdevの削除機能が取り込まれてた [クソゲ〜製作所]
OpenZFS Developer Summit 2018を眺めてたら、Device Removalなるスライドを発見。タイトルの通りvdevの取り外しに関する機能である。 ご存知の通りZFSでは、一度プールに組み込んだデバイスの削除に非常に厳しい制約がある。プールのスケールアップは極めて容易な一方、スケールダウンは事実上不可能だった。しかしDevice Removalによって、ミラー構成のvdev限定ではあるものの削除が可能となる。 嬉しい人には嬉しいと思われるこの機能、なんとFreeBSD 11.2-RELEASEで既に取り込まれてた。11.2Rのmanから説明を引用してみる。 Removes the specified device from the pool. This command currently only supports removing hot spares, cac
![FreeBSD 11.2-RELEASEでZFSのトップレベルvdevの削除機能が取り込まれてた [クソゲ〜製作所]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8e91105e882536e04ecfdd52084c0dcf38583a85/height=288;version=1;width=512/https%3A%2F%2Fnofu.jp%2Fwiki%2F_media%2Fwiki%2Fdokuwiki-128.png)
SambaとZFSで大量のファイルを扱う時はcase-sensitiveを最適化する
ことの発端は、数万個のファイルがあるフォルダをSambaのファイルサーバにコピーすると、速度が10kB/s前後まで低下する現象に見舞われた。速度はコピーが進むごとに低下し、比例してsmbdのCPU占有率が上がるというのが特徴。サーバ上で直接コピーすると何の問題もない。 調査を進めると、Sambaはファイル名の重複チェックのため、ファイル作成時に作成先フォルダ内の全ファイル名を検査することが分かった。この時に行われる、ファイル名の大文字／小文字変換と比較処理がボトルネックとなっているようだ。Windowsでは歴史的にファイル名の大文字／小文字を区別しない1)が、UNIX系ではOS／ファイルシステム共に大文字／小文字を区別することが多い。このWindowsとUNIXの違いをSambaで吸収してやる必要があるわけだ。 プロファイルしたわけでもソースコードを見たわけでもないので確証はないが、Sam
zpool detachしようとしたらno valid replicasと言われたでござる
ZFSプールが手狭になったため、HDDを順繰り大容量のものにzpool replaceしてた。 $ zpool status zdata pool: zdata state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://illumos.org/msg/ZFS-8000-8A scan: resilvered 8.82T in 25h57m with 2 errors on Tue J
FreeBSD10でRAID-Z2のディスク交換をしたメモ - Qiita
前提 我が家のファイルサーバのお話です。業務用システムではありません。 FreeBSD 10で構築していますが、私はFreeBSDに不慣れです。 ルートパーティションそのものもZFSになっています。 プールはRAID-Z2で構成しています。 ZFSの構成ディスクが壊れた zpool scrub zroot を実行したらひどく時間がかかり、repairedなんて表示がありました。ガーン dmesg してみた結果、ATAのDRDY ERRが大量に出ている状況。(ﾉ∀`)ｱﾁｬｰ ...snip... (ada0:ahcich2:0:0:0): CAM status: ATA Status Error (ada0:ahcich2:0:0:0): ATA status: 41 (DRDY ERR), error: 40 (UNC ) (ada0:ahcich2:0:0:0): RES: 41 40
FreeBSDシステムでIntel Optaneメモリはどれくらい速いのか、他のメモリとベンチマーク結果を比較
FreeBSDライブラリを使用してZFS ZIL/SLOGのパターンをシミュレートできるメモリ速度のベンチマークソフトがリリースされ始めていますが、多くのベンチマークソフトでは純粋な書き込み速度または70/30ワークロードに焦点を当てているのに対して、書き込み耐性の高いドライブは、データを書き込んでは消す「キャッシュ」用途で使われることも多いものです。速度重視のストレージアレイを組む上で有力なファイル形式のZFSで、従来型のNAND SSDとIntelの新型メモリOptane SSDの両者で、パフォーマンスがどう異なるのかについて、比較試験が行われています。 Exploring the Best ZFS ZIL SLOG SSD with Intel Optane and NAND https://www.servethehome.com/exploring-best-zfs-zil-sl
FreeBSD 11.1-RELEASEを自由なZFSパーティション構成でインストールする
bsdinstallの登場により、FreeBSD 10あたりからRoot on ZFSでのインストールが簡単に出来るようになった。 一方で、昔ながらの手動でRoot on ZFSを作っていたユーザーは、ZFSのファイルシステム構成やプロパティを自由に設定したいと考えるだろう。かくいう自分もその一人である。最近のFreeBSDのインストール作法を踏まえつつ、手動でZFSルートファイルシステムを作る方法が分かったので、備忘録も兼ねて記事にする。
FreeBSDのcamcontrolでHPAを設定する
camcontrol hpa デバイスID とすると、デバイスのHPAの状態を確認できる。デバイスIDはda0とかada1とか。 # camcontrol hpa ada1 pass1: <INTEL SSDSC2BB480G4 D2012370> ACS-2 ATA SATA 3.x device pass1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes) Feature Support Enabled Value Host Protected Area (HPA) yes no 937703088/937703088 HPA - Security no camcontrol hpa デバイスID -s セクタ数 -P とすると、デバイスのHPAを設定することができる。デバイスの容量は-sで指定したセクタ数に制限され、-Pでそ
LXD 採用から運用までの顛末記
8. XREA 仮想化前史～完全仮想化へ 1. その昔、創業当初からのものを含む、古い物理サーバー を使っていた。ハード、ソフトとも老朽化しすぎ。。。 2. 2011年、マイグレーションに際して、KVM 完全仮想化を 採用して刷新。 3. 400 台弱のサーバーが、２ラックに収まった。
Mac De Oracle: FAQ:Solaris 11.3とZFSという組み合わせだとFAQなのな、ZFS ARCに関する動きについて
■プライバシーポリシー ■個人情報の利用目的 当ブログでは、メールでのお問い合わせ、ブログへのコメントの際、名前（ハンドルネーム）等の個人情報をご登録いただく場合がございます。これらの個人情報は質問に対する回答などでご連絡する場合や、スパムコメント抑止のために利用させていただくものであり、個人情報をご提供いただく際の目的以外では利用いたしません。 ■個人情報の第三者への開示 当サイトでは、個人情報は適切に管理し、以下に該当する場合を除いて第三者に開示することはありません。 本人のご了解がある場合 法令等への協力のため、開示が必要となる場合 個人情報の開示、訂正、追加、削除、利用停止については、ご本人からの個人データの開示、訂正、追加、削除、利用停止のご希望の場合には、ご本人であることを確認させていただいた上で速やかに対応させていただきます。 ■アクセス解析ツールについて 当サイトでは、Go
FreeBSD 11でiSCSI Targetを作る
FreeBSD 10.0で登場したctld(8)により、FreeBSDもネイティブでiSCSIをサポートするようになった。本記事では、そのctldを用いたiSCSIターゲットの構築方法を説明する。FreeBSD 9以前では事情が大きく異なるので注意されたい。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2019-09-27 ZFSはこう使え (公開版).pdf
ZFS Boot Environments Reloaded
New ZFS Boot Environments Tool