fsspec: Filesystem interfaces for Python — fsspec 2024.6.0.post1+g8be9763.d20240613 documentation
fsspec: Filesystem interfaces for Python Filesystem Spec (fsspec) is a project to provide a unified pythonic interface to local, remote and embedded file systems and bytes storage. Brief Overview There are many places to store bytes, from in memory, to the local disk, cluster distributed storage, to the cloud. Many files also contain internal mappings of names to bytes, maybe in a hierarchical d
Syncthing
The Syncthing Foundation stands for peace and with Ukraine! Read about what we're doing. Syncthing is a continuous file synchronization program. It synchronizes files between two or more computers in real time, safely protected from prying eyes. Your data is your data alone and you deserve to choose where it is stored, whether it is shared with some third party, and how it’s transmitted over the i
Tag-Based File Organization: Benefits, Linux Tagging Software, & Limitations
We all have data that we need to store, and then find. Regardless of type, data tends to build up. Eventually, we need some system for organizing it into sensible categories. It turns out, this problem is harder than it seems. In this article, I'm going to be talking about organizing digital files. However, most of the problems (and some of the solutions) also apply to paper files, spreadsheet tab
Linuxでディスク使用量を確認するdufコマンドの使い方
基本はdfコマンドだが Linuxサーバは基本的にさまざまな操作をターミナルで行えるようになっている。WindowsプラットフォームのようにGUIが必須ではないというのが特徴だ。しかし、GUIに慣れたユーザーからすると、コマンドの出力はいささかシンプルすぎて直感性に欠けると感じるかもしれない。 また、サーバ管理において、ディスクストレージの空き容量の管理は重要だ。空き容量が足りなくなるとソフトウェアが正常に動作しなくなる。ストレージの空き容量は典型的にはdfというコマンドで確認できるが、GUIに慣れていると、dfコマンドの出力は多少物足りないかもしれない。 dfコマンドの実行サンプル そんな場合はdufコマンドを試してみるとよいだろう。It's FOSSが「Check Your Disk Usage Using 'duf' Terminal Tool in Linux」において、dufコマ
File locking in Linux
File descriptors and i-nodes A file descriptor is an index in the per-process file descriptor table (in the left of the picture). Each file descriptor table entry contains a reference to a file object, stored in the file table (in the middle of the picture). Each file object contains a reference to an i-node, stored in the i-node table (in the right of the picture). A file descriptor is just a num
What are "/run/lock" and "/run/shm" used for?
Short answer: they store temporary system files, including device locks and memory segments shared between different processes. Don't worry, they usually use a fraction of their "size" shown by df /run is, in general, a temporary filesystem (tmpfs) residing in RAM (aka "ramdisk"); its meant for storing "temporary" system or state files which may be critical but do not require persistence across re
Point/Counterpoint - /opt vs. /usr/local | Linux Journal
This month, Bill and I take on one of the classic holy wars between Linux geeks: /opt vs. /usr/local. If you look at the current Linux Filesystem Hierarchy Standard, you will see that both /opt and /usr/local are represented there. If you read further, you will see that they both seem to have a similar purpose: a place to put software that's not part of the standard system. Even though both direct
Filesystem Hierarchy Standard
Introduction This page is the home of the Filesystem Hierarchy Standard (FHS). The current version is 2.3. It was announced on January 29, 2004. The filesystem standard has been designed to be used by Unix distribution developers, package developers, and system implementors. However, it is primarily intended to be a reference and is not a tutorial on how to manage a Unix filesystem or directory hi
Btrfs - Wikipedia
Btrfs (pronounced as "better F S",[9] "butter F S",[13][14] "b-tree F S",[14] or "B.T.R.F.S.") is a computer storage format that combines a file system based on the copy-on-write (COW) principle with a logical volume manager (distinct from Linux's LVM), developed together. It was created by Chris Mason in 2007[15] for use in Linux, and since November 2013, the file system's on-disk format has been
Btrfs による企業データの保護 | Synology Inc.
Btrfs が大切なデータを保護する方法 次世代のファイル システムは、データの統合性と効率的なスナップショットを提供します。 大型のデータ ストレージを導入するとき、柔軟なバックアップ ツールを備えながら、データが破損するのを防護するソリューションが必要となります。 次世代の Btrfs ファイル システムは、Synology NAS サーバーに対してこれらのツールをもたらし、組織はメンテナンスに要する人材を減らし、効率的にデータを保存することができるようになります。 Btrfs は複数の組織によって開発された新しいファイル システムであり、一部の Synology NAS モデルでもサポートされています。 Btrfs は、フォールトトレランス、管理、データ保護など、企業のストレージ システムでよく見られた障害に対処することを本来の目的としていました。
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
Colossus: Successor to the Google File System (GFS) - SysTutorials
Colossus is the successor to the Google File System (GFS) as mentioned in the paper on Spanner at OSDI 2012. Colossus is also used by spanner to store its tablets. The information about Colossus is slim compared with GFS which is published in the paper at SOSP 2003. There is still some information about Colossus on the Web. Here, I list some of them. Storage Architecture and Challenges A talk on F
Docker Desktop for Linux user manual | Docker Documentation
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindowsUnderstand permission requirements for WindowsLinux Installation per Linux d
JNotify - File system events library for Java
JNotify java API JNotify is a java library that allow java application to listen to file system events, such as: File created File modified File renamed File deleted Supported platforms Windows (2000 or newer) Windows notes Linux with INofity support (2.6.14 or newer) Linux notes Mac OS X (10.5 or newer) Mac OS notes Usage example JNotify can be tested by simply running the jar file with the follo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Client Challenge
https://pypi.org/project/smart-open/
Linux file hierarchy - what's the best location to store lockfiles?
https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-29.pdf
/usr/local or /opt?
WatchService combined with Akka actors - DZone