ストレージを知らない人/苦手な人向けに実施した勉強会の資料です。
ストレージの基礎
ストレージを知らない人/苦手な人向けに実施した勉強会の資料です。
自己紹介 本職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の（当時所属していた）部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子（PDF）にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、
]# cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-1062.1.2.el7.x86_64 #1 SMP Mon Sep 30 14:19:46 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux ファイルシステムとは何か? データを管理/操作するための仕組み。 ファイルとディレクトリで構成されていて、/ を基点とした木構造になっている。 # ls -l / 合計 56 lrwxrwxrwx. 1 root root 7 8月 25 01:17 bin -> usr/bin dr-xr-xr-x. 6 root root 4096 9月 29 15:51 boot drwxr-xr-x. 19
モスクワ（ＣＮＮ） ロシアの反体制派指導者アレクセイ・ナバリヌイ氏の尾行任務で送り込まれたロシアのエージェントが、今年８月に同氏に毒を盛った方法について、致死性の神経剤ノビチョクをパンツの中に仕込んだと明らかにした。 この人物はロシア連邦保安局（ＦＳＢ）の毒物チームに所属するコンスタンティン・クドリャフツェフ氏。長時間に及んだ電話でのやり取りで、この驚がくの事実を明らかにした。 クドリャフツェフ氏は上司に対する報告と信じていた電話で、シベリアの都市トムスクで毒物を盛るのに関与した人物の話や、自身が事後の後片付けで送り込まれたことについても語った。 コンスタンティン・クドリャフツェフ氏。ナバリヌイ氏に毒が盛られた後、後片付けをしにオムスクに向かったと明かした/From Bellingcat だが、クドリャフツェフ氏の話し相手は国家安全保障会議の当局者ではなかった。話していたのは毒を盛られて死
なぜWindowsはまだNTFSを使っているのでしょうか？なぜフラグメンテーションが起きにくいLinuxのext4ではないのでしょうか？
回答 (3件中の1件目) NTFSも一応フラグメンテーションが起きにくいようには作られています。今のext4 FSに比べるとフラグメンテーションし易いですが、フラグメンテーションだけがファイルシステム性能や機能の指標ではないです。 わざわざ使う必要がないユーザーが多いかも知れませんが、e4defrag（ファイルのフラグメンテーションを直すツール）やe2freefrag（ext4もフリースペースのフラグメンテーションを防止できないのでその状況を知る為のツール）といったフラグメンテーション対策ツールがext4用に提供されています。ext4もフラグメンテーションを起こすので結局は運用にデフラ...
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
はじめに Raspberry PiのSDカードの取り扱う上で、複製したり、イメージとして保存しておきたいシーンは多いと思います。 しかし、大容量のSDカードが一般的になった今では、空き容量が大半を占めるベタイメージを作成することは、以下の点から現実的でありません。 イメージファイルの大半を空き容量が占め、時間およびストレージの効率が悪い 元より容量の小さいSDカードに書き込むことができない SDカードに書き込む際、空き領域にも書き込みが行われ、カードの寿命を縮めてしまう ファイルシステムが破損していても、コピー時に気づくことがない パーティションの構造とLinuxの操作を学びながら、SDカードのバックアップをしていきましょう。 背景 Raspberry PiのSDカードの論理構造を見ていきましょう。難しく考える必要はありません。大体こんな感じといったイメージを掴むだけでOKです。 まず、セ
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A
先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ
Linux Daily Topics 2020年1月10日Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと、バズワード以上の何物でもなく、そして実感するのだけど、例のライセンシング問題は僕にとってZFSを価値のない存在と思わせるだけだ」 1月6日、IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたあるスレッドにて、Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張している。 Do not blame anyone. Please give polite, constructive criticism By: Linus Torvalds -Real World Te
Red Hat でコンサルタントをしている菅原と申します。 この記事では、意外とあまり説明されていないような気がする Linux システムで発生するハングタスクについて少し説明したいと思います。現場のシステムでもハングタスク検知の設定がされていることが多いと思いますが、ハングタスクとは何なのかを正しくご理解いただくことで、ハングタスク検知を行う目的が明確になること、また、実際の障害事例もご紹介することで、通常あまりハングタスクと関連づけて考えないような設定でもハングタスク発生につながる場合があることを知っていただき、少しでもシステム管理や障害の理解、障害対応などのお役に立てれば幸いです。 なお、この記事では RHEL のみを対象に書いていますが、他の Linux ディストリビューションにも適用される内容と思います。 ハングタスク (hung tasks) とは ハングタスクとは読んで字のご
`COPY --chmod` reduced the size of my container image by 35%
$ podman history vamc19/nomad:latest ID CREATED CREATED BY SIZE COMMENT ... <missing> 36 minutes ago /bin/sh -c apt-get update && apt-get insta... 94.4 MB 374515aec770 36 minutes ago /bin/sh -c # (nop) COPY file:6dbfa42743cc65... 87.7 MB 22cd380ad224 36 minutes ago /bin/sh -c # (nop) LABEL maintainer="Vamsi"... 0 B FROM docker.io/library/ubuntu:21.10 ... The layer created by COPY is 87.7MB, which
FAT32ファイルシステム読解
1. はじめに FAT32 ファイルシステムを実装する必要があった (趣味) ため、本記事では FAT ファイルシステム (メインはFAT32) の仕様を出来るだけ分かり易くまとめました。 なぜ FAT32 なのか？ 全てのOS (Windows, Linux, MacOS) や Raspberry Pi4 のブート用ファイルシステムでもサポートされおり、非常に使い勝手が良い 少なくともファイルのリード操作だけに限定した場合に実装がとても簡単で、Raspberry Pi4 のデバイスで SD カード上のファイルにリードアクセスする場合に便利 ただし、FAT は暗号系の機能がサポートされていなかったりするので、実際の組み込み機器の Linux 系で利用するファイルシステムだと Ext2/Ext3/Ext4 など他のファイルシステムの利用が多いとは思います。 2. FATファイルシステム概要
TabFS
Going through the files inside a tab's folder. For example, the url.txt, text.txt, and title.txt files tell me those live properties of this tab (Read more up-to-date documentation for all of TabFS's files here.) This gives you a ton of power, because now you can apply all the existing tools on your computer that already know how to deal with files -- terminal commands, scripting languages, point-
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
GitHub - spacedriveapp/spacedrive: Spacedrive is an open source cross-platform file explorer, powered by a virtual distributed filesystem written in Rust.
A file explorer from the future. spacedrive.com » Download for macOS (Apple Silicon | Intel) · Windows · Linux · iOS · Android ~ Links for iOS & Android will be added once a release is available. ~ Spacedrive is an open source cross-platform file manager, powered by a virtual distributed filesystem (VDFS) written in Rust. UPDATE: Spacedrive is under active development, we are in the alpha stage an
FizzBuzz.txt(8エクサバイト)
FizzBuzzFS FizzBuzz問題といえば定期的にSNSで話題になっては変な解法が発明されることでおなじみですが(?)、ファイルシステムを使った事例が見当たらなかったのでやってみました。 まあ見ての通りというか…… /mnt/FizzBuzz に FizzBuzz.txt(8エクサバイト)があって、FizzBuzzが書いてあります。 どこまでも…… 容量の続く限り…… 以上！！！！！！！ 技術解説 FUSE FUSE(Filesystem in USEr space)というソフトウェアを使うことで、簡単に新しいファイルシステムを実装することが可能です。 Rustにおいては、fuse crateの更新が停止した結果フォークが複数存在するようですが、利用者数と更新頻度的にfuser crateを使うのがよさそうです。 FileSystem traitが実装された値をmount2関数に渡
systemctlコマンドで "No space left on device" が表示されるけどdfでは余裕があるナゾ - 赤帽エンジニアブログ
Red Hatの森若です。 systemctlコマンドでサービスを起動すると、予期しないエラーが出力されます。しかし操作は成功しているし、df等でファイルシステムを見ても余裕があります。 今回はこの状況で何が起きていたのか見てみます。 # systemctl start httpd.service Error: No space left on device inotifyとは? linuxにはinotifyという機能があり、ファイルやディレクトリ等への操作をイベントとして取得することができます。 inotifyではアプリケーションがファイルとして「inotify instance」を用意し、inotify instanceにイベントに対応する「inotify watch」を複数登録します。 inotify watchがイベントを検出するごとに、inotify instanceのキューにイ
基本はdfコマンドだが Linuxサーバは基本的にさまざまな操作をターミナルで行えるようになっている。WindowsプラットフォームのようにGUIが必須ではないというのが特徴だ。しかし、GUIに慣れたユーザーからすると、コマンドの出力はいささかシンプルすぎて直感性に欠けると感じるかもしれない。 また、サーバ管理において、ディスクストレージの空き容量の管理は重要だ。空き容量が足りなくなるとソフトウェアが正常に動作しなくなる。ストレージの空き容量は典型的にはdfというコマンドで確認できるが、GUIに慣れていると、dfコマンドの出力は多少物足りないかもしれない。 dfコマンドの実行サンプル そんな場合はdufコマンドを試してみるとよいだろう。It's FOSSが「Check Your Disk Usage Using 'duf' Terminal Tool in Linux」において、dufコマ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
Linux ファイルシステムを理解したい - Qiita
ロシア反体制派指導者、スパイだまし毒盛られた方法聞き出す パンツに毒と判明
【Mac Info】 理解してる？Macのフォーマット「APFS」のメリット/デメリット
Raspberry Piを極限まで無駄なくバックアップする | DevelopersIO
LinusがZFSにLKMLで言及した件 - kuenishi's blog
2020年1月10日 Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 | gihyo.jp
Linux でのハングタスクについて - 赤帽エンジニアブログ
Linuxでディスク使用量を確認するdufコマンドの使い方