HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
こういうニュースを見るたびに、こう嘆かざるを得ません。 GitLab.comが操作ミスで本番データベース喪失 「ああ、ZFS使ってれば」、と。 ZFSはこれまでのファイルシステムの常識を覆す画期的なファイルシステムでした。fsckを不要にするトランザクション，パーティションという概念を過去のものにするデータセット，ファイルシステム自体のundoを可能にするスナップショット，エラーを自動検知し，可能であれば自動修復するチェックサム，RAIDホールがないRAID-Z……「Z=最後のファイルシステム」という自信がその名に込められたZFSは，今は亡きSun Microsystemsの最後の遺産でもあります 僕にZFSの話をさせると長くなります -- ので、今回はスナップショットを中心に手短に。 バックアップを難しくしているのは何か? ここで、ある小さな*nixシステムのフルバックアップを取ることに
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS : 404 Blog Not Found
2011年06月19日23:30 カテゴリTipsiTech 備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS HP ProLiant MicroServer ヒューレット・パッカード Amazonで24,800円だったので半周遅れぐらいで買ってみた。 いいね! コバQことCobalt Qube復活した感じ。 とはいえ、ある程度工夫しないとFreeBSD + ZFSでは使いづらい。半周遅れだけあって、すでに先人の苦労の後を追検証していくだけでよかったのだけど。 hp proliant microserver freebsd - Google 検索 追加部品 PC3-10600 DIMM 4GB x 2枚セット 8GBで6000円ちょっと?そんな価格で大丈夫か? USBメモリ(高速タイプ) これが起動「ディスク」。右のようにして使う。8GBがちょうど
Forget building your own custom docs platform. With GitBook you get beautiful documentation for your users, and a branch-based Git workflow for your team.
自分はネットラジオなんかを録画するシステムを開発してるわけなんですが、 インターネットラジオを全録音するソフトつくった - 方向 これをどういうサーバーで運用しているかというのをメモしておこうと思います。 前提 サーバー（ハードウェア） ストレージ代 いわゆる安鯖について OS, FileSystem Backupについて CrashPlanについて ニコ生について Google Photosについて Virtual Box + Windows 監視・アラート 課題・今後の方向性 前提 ストリーミングのインターネットラジオ(radikoを2チャンネルほどやA&G+など)をリアルタイムで録音・録画している その他毎週更新だったりするやつもとっている ニコ生も1日15本ほど保存している（net-radio-archiveの新機能として開発中) テレビ放送のTSはキャプチャしてない サーバー（ハ
彩恵りり🧚♀️科学ライター✨おしごと募集中 on Twitter: "人類が得られた世界で最も低い温度の記録が更新されたよ！記録は38pK (0.000000000038K) だけど、記録達成自体よりも、達成するために使った機器や技術がすごいかも！リプで解説するね！ Christian Deppn… https://t.co/LuW2ZFs1Gy"
人類が得られた世界で最も低い温度の記録が更新されたよ！記録は38pK (0.000000000038K) だけど、記録達成自体よりも、達成するために使った機器や技術がすごいかも！リプで解説するね！ Christian Deppn… https://t.co/LuW2ZFs1Gy
先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ
Linux Daily Topics 2020年1月10日Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと、バズワード以上の何物でもなく、そして実感するのだけど、例のライセンシング問題は僕にとってZFSを価値のない存在と思わせるだけだ」 1月6日、IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたあるスレッドにて、Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張している。 Do not blame anyone. Please give polite, constructive criticism By: Linus Torvalds -Real World Te
ノートPCでこそ使いたいZFS ― ＠IT
2007/06/29 アップルは次期バージョンのMac OS X、「Leopard」で、サン・マイクロシステムズが開発したファイルシステム「ZFS」を採用するという。現在、報道されているところによれば、デフォルトは従来のHFS+のままで、ZFSはオプションの形での利用ということになりそうだが、それにしてもビッグニュースだ。「サンってことはデータセンターで使う、サーバ向けのファイルシステムでしょ？」と思う人が多いだろう。確かに高可用性と高いメンテナンス性を実現する機能などはサーバ向けの印象を与える。しかし、ZFSはエンドユーザーにとっても、実に魅力的な機能を提供する。 ノートPCにこそZFS！ ここでは主に、サン・マイクロシステムズでSolarisの開発に携わっているカーネル技術者、エリック・クスターツ（Eric Kustarz）氏のブログエントリ「ZFS on a laptop？」（ノート
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Forget building your own custom docs platform. With GitBook you get beautiful documentation for your users, and a branch-based Git workflow for your team.
明けましておめでとうございます。今年もコンピューター道に邁進して参りますのでよろしくお願いします！ さて、今年一発目のネタはMySQL利用時におけるZFSのチューニングについて取り上げようと思う。Solarisに搭載されている機能の中でも最も注目度の高いものの一つであるZFSであるが、MySQLのバックエンドとしてはあまり利用されていないように思う。（そもそもSolarisのユーザー数自体がそれほど多くないという話もあるが。）ZFSは優れたファイルシステムであり、ファイルシステム自体にスナップショット機能が搭載されていたり容量の限界に先が見えない（充分すぎるほど余裕がある）といった管理上のメリットがあり、DBAにとっては垂涎のファイルシステムであると言える。（Linuxで利用出来ないのが難点だが、ZFSを使うためにSolarisを使うのもアリだろう。） MySQL利用時におけるZFSのチュ
一瞬でのバックアップを実現するSolaris ZFS：OpenSolarisで始めるブログサーバ構築（4）（1/4 ページ） この連載では、サーバOSとして十数年発展してきた「Solaris」をオープンソース化した「OpenSolaris」を紹介し、ブログサーバ「Roller」と組み合わせて運用していくうえで有用なさまざまな知識を紹介していきます。（編集部） 前回の「Solarisコンテナでセキュリティを強化」では、仮想化技術であるSolarisコンテナを用いて、ブログサイトをセキュアな環境に移行する方法について解説しました。Solarisコンテナを用いると、思ったよりも簡単な手順で仮想環境が構築できることがお分かりいただけたと思います。 今回は、最新のSolaris ZFS（以下ZFS）ファイルシステムを用いたデータ管理方法やSolarisコンテナとZFSの組み合わせによるプロビジョニン
zfs - MacBook Air (13-inch, Late 2010) をオクタブート化 - Qiita
勇者がいないなら、自分が勇者になればいいのに。 前回記事 勇者はぜひ上記に macOS と illumos も加えたクアッドブートディスクをこさえてみてください。 というわけでやりました。 illumos は後述の理由でないけどクワッドどころかオクタブートです。それもベアメタルで。 MacBook Air (13-inch, Late 2010)。6年以上前のノートブックの未来、かつて私のメインノートで、その後長女のメインノート。だから裏蓋はこんな。 その長女のメインノートも、私と同じ MacBook Pro (Retina, 13-inch, Mid 2014) に変わって以来、しばらくお蔵入りしていたのを引っ張り出して来ました。 USB3はおろか、Thunderboltもない、CPUパワーは今日日のiPhoneに負けてしまうロートルですが、 Sierra も Windows 10 も動
雨降って地固まり、geom mirrorが壊れてZFSを導入する : 404 Blog Not Found
2008年09月07日19:00 カテゴリiTech 雨降って地固まり、geom mirrorが壊れてZFSを導入する 今週は泣きっ面に蜂であった。 月曜日に(固定)電話が壊れ 火曜日にプリンターが壊れ.... という感じでいろいろなモノの寿命が尽きて、ついに 金曜日にファイルサーバーが壊れ と相成った。 しかし、こういう時こそものごとを非線形によくするチャンスである。転んでタダで起きるのは弾ではない。特に他は待てるが、ファイルサーバーは待てない。他の直しでもちょっとした発見があったのだが、まずはファイルサーバーの修復、というより大刷新について書いておきたい。 といっても、サーバーをまるごと新調したわけではない。交換したのはディスク、そしてファイルシステム。 Before FreeBSD 6-STABLE SATA 250GB x 4 RAID1 by geom (gmirror) UFS
ZFSはRAIDと相性が悪い
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Sun Fire T2000には最初、2GbpsのFibre Channelに対応したSATAのディスクアレイを2基つないでいました。それぞれ14D+1P+1SのRAID 5にして、2つのvdevでZFSのpoolを1つ作りました。これはRAID 5+0に相当します。 しかし、この構成はまったく性能が出ませんでした。負荷がほぼ100%のときにディスクアレイ1基あたりで約20MB/sしか出ません。1基20MB/sなら2基合わせて40MB/s、ビットにすると320Mbps、ARCの助けを借りても、ftp.jaist.ac.jpの出力帯域は450Mbpsがいいところでした
ZFSの復旧に成功した「日本データテクノロジー」の研究チームとは
東京・銀座に社を構えるデータ復旧会社「日本データテクノロジー」が、特殊ファイルシステム「ZFS」の復旧に成功したそうです。日本データテクノロジーは、他社に先駆けて自社内にデータ復旧専門の研究チームを設けており、今回のZFS復旧成功もこの研究チームの成果ということで、データ復旧の研究とはいったいどんなものなのか、その実態を聞いてきました。 データ復旧|PC・サーバー・RAID機器のHDD復旧ならデータ復旧.com 銀座にある日本データテクノロジーの本社に到着。 「日本データテクノロジー」はデータ復旧のブランド名で、運営会社はOGID株式会社です。 インタビューに答えるのは、日本データテクノロジーのデータ復旧事業部復旧技術チームに所属する、西原世栄さん。 GIGAZINE（以下、G）： 今回は、これまで復旧の事例が無かったと言われるファイルシステムで、ファイルシステム自体がRAID機能を持つ「
ZFSでストレージ
hbstudy#12の資料です * こんなに速いZFS * ZFSが遅くなる訳 * ZFSストレージの実際 * ストレージ以外でも便利なZFSRead less
ZFS を少し触ってみました。ZFSはOracle（その前はSun）の次世代ファイルシステムです。元はSolaris向けに開発されたものですが、オープンソースなのでLinux（0.6.1以降が 製品版として安定しているようです と Mac にも移植されています。ファイルシステムといっても、ZFSはボリュームマネージャでもあるので、ディスクのパーティション管理もやってくれます。ZFSがなぜそんなにクールかといえば、データ破損対策、RAIDのサポート、スナップショットやコピーオンライトの実装、そしてバックアップ時のフレキシブルで効率の良いデータ転送などが装備されているからです。ZFSを使って、バージョン管理システムのGit（Gitじゃないバージョン管理システムでも構わないのですが）のいろいろな機能をどこまで実行できるのか、お見せしようと思います。もちろん、本気で”ちゃんとした”バージョン管理シ
英ClosterHQは8月13日、ZFSベースのDockerクラスタ管理ツール「Flocker」を発表した。これを利用することで、データとそれを利用するアプリケーションを同時にコントロールできるという。 Flockerは、データボリューム管理機能とマルチホストに対応したDockerクラスタ管理機能を備えるツール。データベースやキュー、key-valueストアをDockerを使って動作させ、さらにそれらを異なるマシン上に容易に移動させることが可能になるという。 独自技術であるZFSレプリケーション技術をLinuxとDockerコンテナで利用することを目的に開発したとのこと。ZFSベースのデータボリュームとネットワークプロキシレイヤーを持ち、Dockerコンテナ管理、データボリュームのマイグレーション、任意のノード上のコンテナにリクエストを送るグローバルルーティングなどの機能を持つ。デプロイし
AppleがMac OS Xのファイルシステムに「ZFS (Zettabyte File System)」を採用する模様だ。6月6日(米国時間)にSun Microsystemsが米ワシントンDCでSun Blade 6000 Systemの発表イベントを開催した。その中でSunの社長兼CEOであるJonathan Schwartz氏がZFSコミュニティの広がりについて説明する際に、「Worldwide Developers Conference (WWDC)において、AppleがMac OS XのファイルシステムにZFSを採用することを明かすでしょう」と述べた。WWDCは6月11日〜15日の日程で米サンフランシスコで開催される。主役は今年秋リリース予定のMac OS X "Leopard"だ。Appleが昨年8月のWWDCで、Leopardの新機能として「Time Machine」を披露
ZFS優しすぎ涙がでた。 - 春木屋
前口上 試しにZFSを使ってみて（VMware Playerで気軽に試せるようになったとは、なんと便利な世の中か）本当に驚いた。 ディスク繋いでzpoolコマンド一発ですぐ使える。パーティションに頭を悩ませる必要もない。RAIDだって楽勝。ディレクトリごとに圧縮することもできるし、気が変わったら、いつでも止めることもできる。スナップショットも早い。 実は、何年か前にZFSについて調べたときはまだまだバギーな印象だったのと、ZFSを使えるようなパワフルマシンがなく保留にしてたんだけど、すごく損した気分。 いままで幾たび、fdiskやnewfs失敗してひどい目にあったことか。電子の海に消えたデータを思う。 そしてRAID。ソフトRAIDで言えばlvmも有名だが、俺にはもうコマンドが複雑すぎて覚えられない（lv...が論理ボリュームを、pv...が物理ボリュームを扱うんだって？）。 これはすごく
FreeBSD-ZFS - PukiWiki
必要要件† ZFS は，高機能なファイルシステムだからなのか，メモリ要件を満たす必要があります．FreeBSD だからなのかはわかりませんが，512MB 以上のメモリがないと kernel panic するようですので注意して下さい．プロセッサには特に要件は無いようにみえます． ただ，Solaris でも，512MB 以上，1GB 以上を推奨とあるので，ある程度のスペックはもともと要求されているのかもしれません． ↑ 今回の環境† 今回用意した環境は，VMware に 7-current を入れ，以下のようなディスク環境を用意しました． zfs# atacontrol list ATA channel 0: Master: ad0 <VMware Virtual IDE Hard Drive/00000001> ATA/ATAPI revision 4 Slave: ad1 <VMware
Image Credit : krzysztof-mによるPixabayからの画像 Ext4のみサポートだったLinux版Dropboxがzfs、xfs、eCryptFSをサポートするアップデート Dropboxは、Linux用の公式クライアントが用意されている数少ないクラウドストレージサービスです。DropboxのLinux版クライアントは、zfs、xfs、btrfs、eCryptFSを元々サポートしていましたが、２０１８年後半にサポート対象から外されてExt4のみに対応していました。 しかし、今回公表されたバージョン（Beta Build 77.3.127）ではExt4に加えてzfs、xfs、btrfs、eCryptFSのサポートが再び追加されています。 以下がBeta Build 77.3.127で追加されている内容の一部です。公式ページからの引用となります。まだベータ版ですがいずれ
ZFS のトラブル続き | HRS's Web Page - The Design and Implementation of the Gracious Days
新しい秩序の確立は、他の何にも増して難しく、 成功する可能性が低く、危険な事業である。 改革者は旧秩序から利益を得ている 全ての者を敵にまわし、 新秩序から利益を受けるはずの者からは 及び腰の支持しか集められない。 --- Niccolo Machiavelli, The Prince この種の「保護」は初心者を保護するかも知れないが、 熟練ユーザを窮地に追い込むことになる。 というのは、何が親切であり、何が適切でないかかという オペレーティングシステムの考え方の裏をかくことばかりに かなりの労力を費やさなければならないからである。 --- A.S.Tannenbaum, Modern Operating Systems 不定期更新の日記です。ディスクスペースの関係上、 あまりに古くなったものは順次消していきます。 この日記の更新は、今野さんの *BSD Diary Links から取得す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZFS - スナップショットいつやるか?今でしょ! - Qiita
How to ZFS · GitBook (Legacy)
2015/09 最近の録画サーバー事情 (ZFS, 安鯖, Cloud Backupなど) - 方向
LinusがZFSにLKMLで言及した件 - kuenishi's blog
2020年1月10日 Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 | gihyo.jp
How to ZFS · GitBook (Legacy)
違いが分かるエンジニアのためのMySQL/InnoDB/ZFSチューニング！
“超特殊”ファイルシステム「ZFS」がデータ復旧するまで 日本データテクノロジーに聞く
一瞬でのバックアップを実現するSolaris ZFS
ZFSがあればGitなんか要らない？ | POSTD
Solaris ZFS 管理ガイド - Sun Microsystems
ZFSベースのDockerコンテナ管理ツール「Flocker」 | OSDN Magazine
Apple、Mac OS Xのファイルシステムに「ZFS」を採用 | パソコン | マイコミジャーナル
Linux版Dropboxがzfs、xfs、btrfs、eCryptFSを再サポートへ