sdadams.org
The problem: data corruption I decided it was finally time to build a file server to centralize my files and guard them against bit-rot. Although I would have preferred to use OpenBSD due to its straightforward configuration and sane defaults, I was surprised to find that none of the typical NAS filesystems were supported. In particular I would need three features in such a filesystem. Firstly I w
[ 2020-October-12 10:26 ] As part of investigating the durability provided by cloud systems, I wanted to make sure I understood the basics. I started by reading the NVMe specification, to understand the guarantees provided by disks. The summary is that you should assume your data is corrupt between when a write is issued until after a flush or force unit access write completes. However, most progr
Unix broadly and Linux specifically has long had three functions that can do file locks, flock(), fcntl(), and lockf(). The latter two are collectively known as 'POSIX' file locks because they appear in the POSIX specification (and on Linux lockf() is just a layer over fcntl()), while flock() is a separate thing with somewhat different semantics (cf), as it originated in BSD Unix. In /proc/locks,
こんにちは、レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 いやーG1 Climaxも終わりましたね。今年のG1は矢野が盛り上げてくれたおかげで…ってプロレスの話じゃなくて。Rookですよ。3話目ですね、1クール13話やるまでは打ち切りにならないようがんばります。 前回は、実際にRookを使ってKubernetes(k8s)クラスター上にCephストレージをデプロイして使ってみました。 今回はCephに障害が起きたとき、Persistent Volume(PV)を使っているアプリケーションのI/Oにどのような影響が起きるかを見てみましょう。 ところで前回OpenShift Meetupというイベントがあることを紹介したのですが、来る9/11(水)に開催予定のOpenShift Meetup Tokyo #6はストレージ特集です！東京会場の一般席はありがたいこと
ストレージオーケストレーター Rook : 第7話 宿命のObject Bucket(Aパート) - 赤帽エンジニアブログ
この記事はRookだらけの Advent Calendar 2019 4日目の記事です。 ども。レッドハットでストレージを中心にクラウドインフラを生業にしているウツノミヤです。 さあイッテンヨンまで後1ヶ月になりました。1.5のIWGPヘビーの方が格上なのにどうも1.4のIWGP ICの方が盛り上がってるんですよね…リマッチなのに。このあたりいつも饒舌な内藤選手が何も喋らないことでうまくメディアと世論をコントロールしてる感じがします。あとみんな二冠二冠と言い出したから、IWGPヘビー級のベルトが二冠のための手段に扱われてちょっと相場が下がってる感があるのも否めないかな。まあこれは個人的なアレですけど。 まあプロレスの話はこれくらいにしといて、Rookアドカレ、見ていただいていますか？ 今年はじめてアドカレやってますが、もう4日目にしてヒイヒイ言っとるウツノミヤです。全部俺系の人は引き出しが
Examining btrfs, Linux’s perpetually half-finished filesystem
Enlarge / We don't recommend allowing btrfs to directly manage a complex array of disks—floppy or otherwise. Btrfs—short for "B-Tree File System" and frequently pronounced "butter" or "butter eff ess"—is the most advanced filesystem present in the mainline Linux kernel. In some ways, btrfs simply seeks to supplant ext4, the default filesystem for most Linux distributions. But btrfs also aims to pr
はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA
UEFI向け9P File Systemを作ってクラウドからネットワークブートできるようにした - Blog posts by @retrage
UEFI向け9P File Systemを実装した． これにより9Pサーバからネットワークブートができるようになった． さらにFUSEと組み合わせることで少ない労力で9Pサーバ経由で クラウドからネットワークブートができるようになった． ソースコードと発表資料と発表の録画は以下で公開している． https://github.com/yabits/9pfsPkg https://speakerdeck.com/retrage/network-boot-from-bell-labs https://youtu.be/3PX19nWrygQ ネットワークブート 通常OSを起動するときBIOSはローカルディスクにアクセスしてブートイメージをロードする． ネットワークブートではローカルディスクの代わりにネットワーク上のサーバからブートイメージをロードする． これを実現するためにBIOSはネットワーク
Do computation when we want to, i.e.: Image building should be fast Image mounting/reading should be fast Optional "canonicalization" step in the middle No full-tree walk required mtree style walks of filesystems are not necessary with clever use of overlay casync style generate-a-tar-then-diff is more for general purpose use where you don't want to have a special filesystem setup Be simple enough
In 2019 I published a blog: Kubernetes Storage Performance Comparison. My goal was to evaluate the most common storage solutions available for Kubernetes and perform basic performance testing. I had results for GlusterFS, CEPH, Portworx and OpenEBS (with cStor backend). This blog has been popular and I received a lot of positive feedback. I’ve decided to come back with few updates on progress in t
Reiser5 File-System In Development - Adds Local Volumes With Parallel Scaling Out - Phoronix
Reiser5 File-System In Development - Adds Local Volumes With Parallel Scaling Out Written by Michael Larabel in Linux Storage on 31 December 2019 at 09:15 AM EST. 71 Comments Well, this is a hell of a way to surprisingly end the 2010s... Reiser5. Reiser5 brings a new format to the Reiser file-system and brings some new innovations to this file-system while keeping to its controversial name. Edward
GW なので趣味アプリの開発を行っていると、音楽ファイルに保存された曲情報を取得する必要が出てきたので、Windows Property System を使って実現したという話です。 曲情報というのは以下のようにファイルのプロパティから確認出来るメタデータのことです。 単純にファイルからメタデータを読み込むだけなら TagLib# というライブラリを使うと、特に難しい処理が必要なく読み取ることが出来ます。しかし最近はアップデートがほぼ止まっていて、偶に PR はマージされていますがリリースがされていない状態が続いています。 そういう経緯もあり、別の方法を検討した結果 Windows Property System に辿り着きました。 Windows Explorer やファイルのプロパティから確認出来る各種メタデータは、Windows Property System という統一されたインタ
virtiofsについて - Qiita
この記事は2019年12月時点におけるvirtiofsの簡単な紹介です。 概要 公式サイト: https://virtio-fs.gitlab.io/ virtiofsはホストと(複数の)ゲストVM間でディレクトリを共有するための新しいファイルシステムで、redhatのエンジニアを中心に開発されています。 主なユースケースとしては、まず軽量VM(kata-containerなど)のルートファイルシステムにvirtiofsを使うことが挙げられます。ゲストへの不要なファイルコピーを削減することによりブート時間が短縮される等の利点があります。また他のユースケースとして、ゲストからファイルシステムの詳細が隠蔽されることも挙げられます。ゲストからは共有されているディレクトリのファイルシステムの詳細は見えないので、例えばネットワークファイルシステムのIPやセキュリティ等の設定をゲストで気にする必要がな
全国1億3千万人のCephファンのみなさんこんばんは FUJITSU アドベントカレンダー 8日目の記事です 逸般的誤家庭から一般的ご家庭にCephを普及すべく、k8sを始めようと思って机の隅っこでホコリを被っているであろうRaspberry Piを活用して、RasPi Cephクラスタを始めようというのが、今回のテーマです RasPiやCephについては、周知でしょうからここでは技術的な紹介は省いて、構築をささっといきたいと思います。 前置き 今回構築するのは、 Cephクラスタ（3ノード）とRados Gateway(S3/Swift互換）（以下RGW）の構築です。 先に言っておくと、RGWをRasPiで動かそうとするとエラー吐いて落ちるので、こいつだけx86の上で動いています。 また、Cephクラスタには、ノードに１OSD/DISKが必要となりますが、これをUSBメモリで代用します。
この記事はRookだらけの Advent Calendar 2019 3日目の記事です。 Rook-CephでSSDとHDDの使い分けの例を説明します。 SSDにOSDメタデータを分けて置く Cephをご存知の方だと、『OSDのユーザーデータとメタデータ領域は分けたほうがいい』というプラクティスを知っていると思います。 メタデータはsmall I/Oがバンバン来るのでFlashデバイスの方がいいということです。そのとおりで、特にsmall I/Oに強くないHDDにとっては性能的に望ましくないです。 CephではユーザーデータはHDDへ、メタデータだけSSDやNVMeへと分けることができるので、Rook-Cephでやってみます。 3台のworkerにそれぞれ5つのデバイスをぶら下げます。 [utubo@tutsunom ceph]$ ssh xxxxxx.compute-1.amazonaw
Linus Torvalds Calls On Paragon To Send In The New NTFS Driver - Phoronix
Show Your Support: Did you know that you can get Phoronix Premium for under $4 per month? Try it today to view our site ad-free, multi-page articles on a single page, and more while the proceeds allow us to write more Linux hardware reviews. At the very least, please disable your ad-blocker. Linus Torvalds Calls On Paragon To Send In The New NTFS Driver Written by Michael Larabel in Linux Storage
以下イベントの発表資料です。 https://rook.connpass.com/event/202147/
Why not ZFS
ZFS is a hybrid filesystem and volume manager system that is quite popular recently but has some important and unexpected problems. It has many good features, which are probably why it is used: snapshots (with send/receive suppport), checksumming, RAID of some kind (with scrubbing support), deduplication, compression, and encryption. But ZFS also has a lot of downsides. It is not the only way to a
How We Saved Millions in SSD Costs by Upgrading Our Filesystem
How We Saved Millions in SSD Costs by Upgrading Our Filesystem At Heap, we use a multi-petabyte cluster of Postgres instances to support a wide variety of analytical queries for our customers. During COVID we experienced rapid growth in the amount of data we ingest, due to business growth and a global increase in online traffic. This post details some of the problems this caused us and how we solv
結論 マウント時にdelegatedあるいはcachedオプションを付ければ、一貫性を犠牲にして速度を改善できる。 バージョン Docker Desktop for Mac: 2.0.0.3 困ったこと Docker for Macでのvolumeマウントは非常に遅い。 ローカルにあるプロジェクトディレクトリをマウントして開発するような場合、 各種ビルドやライブラリのインストール、下手をするとWebサーバーへのアクセスすら耐えられないほど遅くなってしまう。 解決策 この問題には公式に解決策が示されており、 マウント時に特定のオプションを指定することで、一貫性は犠牲になるものの速度が劇的に改善する。 https://docs.docker.com/docker-for-mac/osxfs-caching/ 詳細な解説は上記ページに譲るとして、概要だけを記しておく。 delegatedは最も信
この記事はRookだらけの Advent Calendar 2019 7日目の記事です。 昨日はOSD on PVCのCephクラスタをデプロイできたのはいいものの、OSDがうまく散らばってくれないという問題に直面しました。 しかも織り込み済みの問題だという。今回はこの問題を回避する方法の一例を紹介します。 そういうわけで、今の時点ではマニュアルで3nodeの散らばるように書く必要がありそうです。 3nodeに散らばるようにする方法 Kubernetesにまかせてカッコよくosdを散らすのは難しそうなので、マニュアルで散らせます。 色々失敗した検討した結果、こんな感じでNode Affinityを使ったら3osdずつ散らばりました。 [utubo@tutsunom ceph]$ cat my-cluster-on-pvc.yaml apiVersion: ceph.rook.io/v1 k
Western Digital Has Been Developing A New Linux File-System: Zonefs - Phoronix
Western Digital Has Been Developing A New Linux File-System: Zonefs Written by Michael Larabel in Linux Storage on 25 December 2019 at 08:00 AM EST. 26 Comments Western Digital has been contributing a lot more to the Linux kernel in recent years from RISC-V architecture bits to storage enhancements. The most recent code they have been working on in recent weeks is a brand new Linux file-system. Bu
まいど。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 Red Hat Forum Tokyoの準備にかまけてすっかり間があいてしまいました(汗) 去る11/15にRed Hat Forum Tokyoがありました。足を運んでくださった皆さん、ありがとうございました。 今年のForumではROOK CHALLENGEという展示ブースの一角を担当させていただきました。中身はほぼDIY工作だったのでめっちゃ疲れましたが、めっちゃ楽しかったです。とにかく目立つ異様な一角を提供できたかなーと思います。 ROOK CHALLENGEは12/09開催予定のJapan Rook Meetup#1と、12/20開催予定のOpenShift.RUNの両方で展示する予定です。 引き続き、RookとOpenShift Japan CommunityのTwitterアカウント、@ja
5.11 カーネルで overlayfs に大きな変更があったようで、久々にカーネルの新しい機能を試してみました。 とは言っても、結果だけ言うとすぐに終わってしまうので、すごいことをやったように見せかけるために、復習したりして順に説明していきましょう。時間のない方は最後の方だけ見れば良いです。 OverlayFS とは Union Filesystem の実装の1つで、ディレクトリを重ね合わせて1つのディレクトリツリーを構成できます。Docker なんかではおなじみの機能ですね。おなじみの機能とはいえ、実際に直接マウントして動きを見たことがない方も多いかと思います。そこでまずは動きを簡単に見てみましょう。 重ね合わせるということで、下層側ディレクトリ、上層側ディレクトリを重ね合わせて、マウントポイント以下に見せます。他にワーク用の workdir として指定するディレクトリが必要です。 次
Linux 5.20 To Support Async Buffered Writes For XFS + IO_uring For Big Performance Boost - Phoronix
Show Your Support: Did you know that the hundreds of articles written on Phoronix each month are mostly authored by one individual? Phoronix.com doesn't have a whole news room with unlimited resources and relies upon people reading our content without blocking ads and alternatively by people subscribing to Phoronix Premium for our ad-free service with other extra features. Linux 5.20 To Support As
GitHub - fangfufu/httpdirfs: A filesystem which allows you to mount HTTP directory listings, with a permanent cache. Now with Airsonic / Subsonic support!
A filesystem which allows you to mount HTTP directory listings, with a permanent cache. Now with Airsonic / Subsonic support! License
この記事はRookだらけの Advent Calendar 2019 6日目の記事です。 Rook 1.1でできるようになった OSD on PVC の説明をします。 OSD on PVC ??? OSD on PVCというのは、ceph-osdをPVC から作ろうということです。 CephはブロックデバイスからOSDを作成するため、言うまでもなくceph-osdにはブロックデバイスが必要です。 osdのブロックデバイスはrook-ceph-osd Podが稼働するworker nodeから取ってくるので、事前に何らかの方法でworker nodeにブロックデバイスをattachしておかなくてはなりません。 しかしこのworker nodeにブロックデバイスをattachする作業は、Kubernetesが乗るプラットフォーム側の操作です。Kubernetesで何かしらやりようはあると思いま
こんにちは、うつぼです。 今日は小ネタで Ceph の capacity usage について説明します。 Ceph はどれくらいの容量が使えるのか分かりづらいことで定評があります。 いや分かることは分かるんですが、「なんでそーなるの？」と欽ちゃんライクになる人もいるでしょう。今日はそこを紐解いていきましょう。 ceph df を見ていく ceph df の出力 まず、Ceph の Pool の capacity usage は、ceph df コマンドで見ることができます。 0.5 TiB (512 GiB) の osd を1つだけ持つシンプルな 3 node の Ceph クラスターを用意します。直後に、 3x replicated pool 2x replicated pool 2+1 erasure coded pool の3つの Pool を作り、ceph df を実行してみます
Cephの紹介 - うつぼのブログ
この記事はRookだらけの Advent Calendar 2019 2日目の記事です。 Rookとは少し離れますが、Cephの説明をしたいと思います。 Ceph Cephの特徴はググればたくさん出てくるので、詳しく知りたい人はググって下さい。ざっくり簡単に書きます。 オープンソースのSoftware-Defined Storage Object, Block, Fileのユースケースに対応するUnified Storage 標準的なHWでクラスターを構成する、Scale-Out型アーキテクチャー ペタバイト級に対応する高いScalability Cloud Infrastructure, CDN, Data Lakeなど新しいワークロードに適したソフトウェアデザイン Self-serviceのストレージ管理を実現するManagement APIの提供 RADOS RADOSとはRelia
Google Cloud launches Filestore High Scale, a new storage tier for high-performance computing workloads | TechCrunch
Enterprise Google Cloud launches Filestore High Scale, a new storage tier for high-performance computing workloads Google Cloud today announced the launch of Filestore High Scale, a new storage option — and tier of Google’s existing Filestore service — for workloads that can benefit from access to a distributed high-performance storage option. With Filestore High Scale, which is based on technolog
GitHub - presslabs/z3: Backup your ZFS snapshots to S3.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Loading...
GitHub - kahing/catfs: Cache AnyThing filesystem written in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
GitHub - containers/composefs: a file system for mounting container images
The composefs project combines several underlying Linux features to provide a very flexible mechanism to support read-only mountable filesystem trees, stacking on top of an underlying "lower" Linux filesystem. The key technologies composefs uses are: overlayfs as the kernel interface EROFS for a mountable metadata tree fs-verity (optional) from the lower filesystem The manner in which these techno
Today, IBM announced that the Red Hat and IBM Storage businesses are coming together as a single group within IBM. By combining our mission, teams and technologies, we will be able to more fully harness our strengths to grow this business further and faster, accelerate innovation in cloud-native software-defined storage, drive new capabilities for IBM and Red Hat customers, and position IBM to com
GitHub - meithecatte/cursedfs: Make a disk image formatted with both ext2 and FAT at once
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
EKSおよびAWS Fargateで実行されているコンテナがAmazon Elastic File Systemを使用できるようになった
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
This page was last edited on 3 February 2021, at 04:22. Make btrfs the default file system for desktop variants Summary For laptop and workstation installs of Fedora, we want to provide file system features to users in a transparent fashion. We want to add new features, while reducing the amount of expertise needed to deal with situations like running out of disk space. Btrfs is well adapted to th
こんにちは、レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 前回は、Kubernetes(k8s)のストレージオーケストレーターのRookを紹介しました。 今回は実際にk8sにRookを入れてCephをPersistent Volume(PV)として使ってみるとこをお見せしたいと思います。 ところで『Operator』ってご存知ですか？このブログでも弊社が誇る正義超人達がちょいちょいOperatorに言及してますが、来る7/26(水)に開催予定のOpenShift Meetup Tokyo #5はなんとこのOperator特集の回なのです！ ご存知でない方はこちらに来場していただけるとバシバシガッテン押せると思いますよ！ブログ/Tweet発信枠と大阪のサテライトは空きがあるので是非来てね！ 以上番宣でした！ 用意するKubernetesクラスター Rookは2
Ext4 VM Images - Ext4
Overview Various ext4 users have a particular use-case for system provisioning where they create a FS image, populate it with whatever files they want, and then want to reduce the image to a minimal one to conserve network bandwidth. At deploy time the minimal image is copied to a disk and expanded with resize2fs to fill the whole disk. There are a number of strategies to handle this operation, ea
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Durability: Linux File APIs (evanjones.ca)
Chris's Wiki :: blog/linux/FlockFcntlAndNFS
ストレージオーケストレーター Rook : 第3話 Rook-Ceph破壊命令 - 赤帽エンジニアブログ
AWSが拓いたLustreファイルシステム新時代 -1- | HPCシステムズ Tech Blog
GitHub - project-machine/puzzlefs
Kubernetes Storage Performance Comparison v2 (2020 Updated)
Windows Property System を使って C# から曲情報を取得する - しばやん雑記
Raspberry Piで始めるCeph入門 - Qiita
Rook-CephでSSDとHDDを使い分ける - うつぼのブログ
プロダクション向けRook/Cephクラスタ構築への道
Docker for Macでマウントしたvolumeの遅さに対処する · Lupus
Rook-Ceph OSD on PVC(後半) - うつぼのブログ
ストレージオーケストレーター Rook : 第5話 CephFSの脅威 - 赤帽エンジニアブログ
5.11 で追加された OverlayFS の非特権マウント（1） - TenForward
Rook-Ceph OSD on PVC(前半) - うつぼのブログ
Ceph Pool の利用可能容量の計算法 - うつぼのブログ
Red Hat Storage strategy update
Changes/BtrfsByDefault - Fedora Project Wiki
ストレージオーケストレーター Rook : 第2話 Rook-Ceph出撃す - 赤帽エンジニアブログ