Windows 11でFAT32のサイズが最大2TBまで拡大。謎の制約が30年経て解除されたが・・・
Windows 11でFAT32のサイズが最大2TBまで拡大。謎の制約が30年経て解除。しかしGUIでは32GB制限は残る MicrosoftのWindows 95のリリースからWIndows 11まで様々なOSで読み書き可能なFAT32について大容量なパーテーションでも読み書きが可能ですが、フォーマットをする際には32GBが最大サイズに設定されているため、Windows単体では32GB以上の容量でフォーマットすることは不可能で、サードパーティ製プログラムなどを使わなければならない状態でした。 しかし、Microsoftが公開したWindows 11 Preview Build 27686にてこのFAT32フォーマットで設けられていた32GBの制約が取り払われ、最大2TBまで容量を増やすことが可能になるようです。 コマンドラインを通じてフォーマットをする際に、FAT32のファイルサイズ制限
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A
Chris's Wiki :: blog/linux/FlockFcntlAndNFS
Unix broadly and Linux specifically has long had three functions that can do file locks, flock(), fcntl(), and lockf(). The latter two are collectively known as 'POSIX' file locks because they appear in the POSIX specification (and on Linux lockf() is just a layer over fcntl()), while flock() is a separate thing with somewhat different semantics (cf), as it originated in BSD Unix. In /proc/locks,
Linux におけるファイル I/O の基礎
すべてがファイルというモデルの Linux (Unix) において、ファイル I/O (以降単に I/O と書く) を知っておいて損はない。 この記事では、基本的なファイルと関連する I/O について、対応する Linux システムコールも併せて説明する。 次回はこれらを実際に Linux 上で確認する予定。 ファイル Unix におけるファイルとは、普通「通常ファイル」のことを指し、バイトがリニアに並んだデータ (byte stream) のことである。 ファイル内のバイトは読み書きが可能で、指定されたバイトから開始する。この開始バイトはファイル内の「位置」と考えることができ、ファイルポジションまたはファイルオフセットという。 通常ファイルとは別に、スペシャルファイルというファイルとして表現されたカーネルオブジェクトがある。Linux では、スペシャルファイルとしてデバイスノード・名前付
FAT32ファイルシステム読解
1. はじめに FAT32 ファイルシステムを実装する必要があった (趣味) ため、本記事では FAT ファイルシステム (メインはFAT32) の仕様を出来るだけ分かり易くまとめました。 なぜ FAT32 なのか？ 全てのOS (Windows, Linux, MacOS) や Raspberry Pi4 のブート用ファイルシステムでもサポートされおり、非常に使い勝手が良い 少なくともファイルのリード操作だけに限定した場合に実装がとても簡単で、Raspberry Pi4 のデバイスで SD カード上のファイルにリードアクセスする場合に便利 ただし、FAT は暗号系の機能がサポートされていなかったりするので、実際の組み込み機器の Linux 系で利用するファイルシステムだと Ext2/Ext3/Ext4 など他のファイルシステムの利用が多いとは思います。 2. FATファイルシステム概要
cgroupsに影響するLinuxの新たな脆弱性CVE-2022-0492 コンテナエスケープの条件は
By Yuval Avrahami March 3, 2022 at 5:09 PM Category: Cloud Tags: containers, CVE-2022-0492, Linux, vulnerabilities This post is also available in: English (英語) 概要 2022年2月4日、Linuxはカーネルにおける新たな特権昇格脆弱性CVE-2022-0492を公表しました。CVE-2022-0492はコンテナの基本構成要素であるLinuxの機能、コントロールグループ(cgroup)における論理バグです。この問題は最近発見されたLinuxの権限昇格脆弱性のなかでもとりわけその単純さできわだつもので、「Linuxカーネルが誤って特権的オペレーションを非特権ユーザーに公開してしまった」という内容になっています。 さいわい、ほとんどのコン
HDD を消去しかけて復元させた話 | IIJ Engineers Blog
IIJ ネットワーク本部アプリケーションサービス部・(兼)社長室所属。 メールサービスの運用業務に従事し、日々世界の悪と戦う一児の父親。社内 Power Automate エバンジェリスト(自称)。M3AAWG member / openSUSE Users / WIDE Project メンバー。趣味は大喜利。はがき職人。 【IIJ 2021 TECHアドベントカレンダー 12/3（金）の記事です】 ことの顛末 週末に古い HDD を捨てようと思ってデータ消去のため shred していた。 消去対象の /dev/sdc を指定するところ、うっかり引数の history にあった /dev/sda を消去対象に指定してしまった。 すぐに [Ctrl] + [C] した。 まず落ち着く 先頭のデータは消えてしまったが、後半のデータは残っている。 RAID を組んでいるし、重要な /home
旧ストレージ廃止大作戦−2900万超のファイルリストを取得する | PR TIMES 開発者ブログ
株式会社PR TIMES 執行役員CTOの@catatsuyこと金子です。今回は先日私が作ったGo製のCLIを社内で利用した話を紹介します。 旧ストレージサーバー廃止失敗 現在のPR TIMESの主要なシステムはデータセンター上にあり、ストレージサーバーはアプライアンスのシステムを使用し、アプリケーションサーバーからはNFSでマウントされています。 PR TIMESは日々様々なプレスリリースが配信されており、当然それに伴い画像などのストレージに保存されるファイルが日々増えています。そのためいつかストレージサーバーのディスク容量が枯渇してしまいます。ディスク容量が枯渇すれば当然新しいストレージサーバーへの移行が必要です。 弊社も先日旧ストレージサーバーの容量が枯渇してしまい、新ストレージサーバーに移行する必要がありました。しかしここで問題が発覚します。それは 1つのディレクトリにものすごい量
なぜWindowsはまだNTFSを使っているのでしょうか？なぜフラグメンテーションが起きにくいLinuxのext4ではないのでしょうか？
回答 (3件中の1件目) NTFSも一応フラグメンテーションが起きにくいようには作られています。今のext4 FSに比べるとフラグメンテーションし易いですが、フラグメンテーションだけがファイルシステム性能や機能の指標ではないです。 わざわざ使う必要がないユーザーが多いかも知れませんが、e4defrag（ファイルのフラグメンテーションを直すツール）やe2freefrag（ext4もフリースペースのフラグメンテーションを防止できないのでその状況を知る為のツール）といったフラグメンテーション対策ツールがext4用に提供されています。ext4もフラグメンテーションを起こすので結局は運用にデフラ...
ストレージはつらいよ？ - 赤帽エンジニアブログ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 25日目の記事です。(過ぎてるけど…) こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftをはじめとするコンテナ環境における…に限らずの一般的な環境でストレージがハマりやすいわけについての愚痴お話しをしたいと思います。 あんまりストレージ詳しくないかたに読んでもらって、へぇと思っていただければ嬉しいです。 コンテナ環境でハマるストレージの落とし穴 コンテナ環境におけるストレージは、CSI(Container Storage Interface)の仕組みができてから、使い始めるにはかなり簡単になりました。パブリッククラウドにしろオンプレにしろ、そこにあるストレージをコンテナストレージとして使えるようになったからです。 とは言
管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
自己紹介 本職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の（当時所属していた）部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子（PDF）にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、
Dockerコンテナの/var/lib/docker/overlay配下の容量が大きくなって起動できない事象に遭遇したので周辺知識を調べた。 - 蚊帳の中の日記
業務でとあるサーバー上のDockerコンテナが立ち上がらなくなってしまう事象に出会った。 原因を先にいうと、Dockerコンテナ内のvar/lib/docker/overlay配下の容量が肥大化してコンテナのデータ容量が100%になってしまっていた。 色々やって結局先輩エンジニア方が解決してくれたんだけど「そもそもoverlayって何？」って感じで調べたら、この間勉強したLPICの内容も少し絡んでいて面白かったのでまとめてみた。 原因 先程も書いたが、今回の事象の原因は、var/lib/docker/overlayの容量が大きくなってしまって、データ領域が足りなくなりコンテナが立ち上がらなくなってしまっていた。*1 overlayって何？ で、「overlayってなんぞ？」となったのだけど、やっぱり公式を見るのが一番ということで調べてみたら、DockerのドキュメントにoverlayFS
機能の一時停止
この機能の使用ペースが早過ぎるため、機能の使用が一時的にブロックされました。 コミュニティ規定に違反していないと思われる場合は、Facebookにお知らせください。
MezzFS — Mounting object storage in Netflix’s media processing platform
By Barak Alon (on behalf of Netflix’s Media Cloud Engineering team) MezzFS (short for “Mezzanine File System”) is a tool we’ve developed at Netflix that mounts cloud objects as local files via FUSE. It’s used extensively in our media processing platform, which includes services like Archer and runs features like video encoding and title image generation on tens of thousands of Amazon EC2 instances
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
macOS 13.3.1 Venturaでは、ファイル名に濁音やアクセント記号が含まれるとダブルクリックでファイルが開けない不具合は未修正。
【Mac Info】 理解してる？Macのフォーマット「APFS」のメリット/デメリット
CEDEC 2020
GitHub - GoogleChromeLabs/browser-fs-access: File System Access API with legacy fallback in the browser
GitHub - suchipi/fs-remote: 📡 Drop-in replacement for fs that lets you write to the filesystem from the browser
