findで時間を指定する～mtime,ctime,atimeとmmin,cmin,amin - grep Tips *
具体的な値に当てはめて考えてみると、timeで +n だと「 n+1 日より前」となるため24時間のずれがあり、minの1分のずれと比べて、直観的でなくわかりづらい。 mtime +2 更新日が3日より前 mmin +2 更新日が3分より前 24時間単位でなくするためには、nに小数を入れると実現できるが、余計わかりづらくなってしまうかもしれないので、minを使う方がいい。 mtime +0.5 更新日が36時間より前 古いファイルを処理するシェルを mtime +1 と書いて実行した場合、「1日と数時間は経っているファイルが処理されていないのはなぜ？」と無駄に考え込んでしまったので、1日を過ぎたファイルを対象にする場合は、mmin +1440と書くようにしている。 参考 http://www.sioazike.info/wordpress/?p=243 from A to Bのように期間を
zfs snapshotの差分send/recvについて | Nobwak's Lair
zfsのバックアップは、snapshotを撮っておいて、自ホストの別zpool、あるいは他ホストの別zpoolに移すことで行われる。 バックアップは定期的に行われるものであるが、ではそのsnapshotを移す際、毎回毎回まるまる送っていたんでは帯域も時間もディスク寿命も無駄である。 zfsはそこも考慮していて、差分だけを送ればいいようにincrementalオプションがきちんと用意されている。 書式は以下の通りsendに-iオプションを与えるだけ。 （recv側にはsnapshotAがすでに転送済みの前提） よろしい。では次回からは…？ ふむ。 では二回目以降はどうするのだろう？ 上記の書式例でsnapshotCが出来たらどうするのだろう？ まさかsnapshotA, B, Cを全部並べるのか？と思ったけどそれは間違いで、snapshotB, Cだけでよい。 recv側にはsnapshot
厳密な順序での ZFS スナップショットの列挙 - 彷徨えるフジワラ
本エントリは Solaris Advent Calendar 2016 の 20 日目です。 動機 既存の ZFS なファイルシステムから、別プールに複製を作成する場合、zfs send + zfs receive を使うのが一般的です。 しかし、そもそも zfs send で指定するスナップショットは、どうやって特定すればよいでしょうか？ 例えば、「最新」のスナップショットを使って zfs send を実行する場合、手動での実行なら「目視判定」でも構わないでしょうが、スクリプト等で自動化するなら、何らかの新旧判定基準が必要です 。 新旧判定に属性情報を使用するにしても、zfs get all 出力を見る限りでは、使えそうなものが見当たりません。「作成日」を保持する creation 属性は、単位が「秒」なので、厳密な順序関係を判定する用途には不適切です(まぁ、実運用上は問題無いケースの方
はてなブログ | 無料ブログを作成しよう
思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。
ZFSを使ってみる - NO LIMIT Is. Wiki支部
概要 ZFSはSolaris10で新たに採用されたファイルシステムです。 ZFSには先進的な機能が多数盛り込まれており、以下のような特徴があります。 簡単(zpool, zfsの2つのコマンドだけで管理できる) 大容量(16エクサバイトのファイルを扱える) 高機能(RAID、スナップショット、クローン、クォータ、...) 安全(99.99999999999999999%の信頼性) 無料！ ZFSの基本的な使い方をまとめてみます。 ZFSファイルシステムの作成 /export/homeパーティションをZFSに移行してみます。ルートパーティションはSolaris10 11/06の時点では残念ながらZFSにできません。 ストレージプールの作成 まずストレージプールを作ります。 物理的なディスク(スライス)をいくつかまとめて仮想的なディスクとして扱うことができます。 ストレージプールはミラー(RA
ZFSを使ってみよう （応用編）
ZFSを使ってみよう （応用編） ２０１０年６月 第１.１版 富士通株式会社 Copyright 2010 FUJITSU LIMITED 1 本テキストについて 目的 Solaris 10 OSの標準機能として実装されている、新しいファイルシステムであるZFS ［Zettabyte（ゼタバイト）File System］について学び、実践的なスキルの向上を目指します。 前提 本テキストの内容は、Solaris 10 OS 10/09で提供される機能を前提にしています。 ZFS機能を使用する際には、Solaris 10 最新情報をご確認ください。 Solaris 10 最新情報は、マニュアル（オラクル社webサイトへリンク）をご参照ください。 ZFSの機能詳細は、Solaris ZFS 管理ガイド (オラクル社webサイトへリンク）を ご覧ください。あらかじめ「ZFSを使ってみよう（基本
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Solaris設定メモ
Unix系OSのメモ Unix系OSのインストールおよび初期設定のメモ。 Unix系OSを趣味で導入する際の初心者向けの情報です。 >> ZFS (*)SunロゴSolaris10/SXCE ZFSファイルシステム ZFSはSolaris10で新たに搭載されたファイルシステムで、ディスクデータを安全で管理しやする多くの機能を持っている。Solarisでは今 後 ZFSが必須になる。私個人ではRAIDやミラーHDD・複数デバイスなど裕福な環境を所有している訳ではないが、バックアップの容易さや扱い易さなど導 入する価値はある。 ZFSの設定手順は ストレージプールの作成→ ファイルシステムの作成→ マウント設定の順で行う。 ZFSファイルシステムをNFSやSMB/CIFSなどの共有領域を使用する場合は 共有設定および属性設定を行う。 領域を確保 ZFSで使用するスライスを確保する。 HDD上に
VirtualBoxのファイルシステムを10倍速くする 〜 read ahead編 〜 : DSAS開発者の部屋
vboxsfを速くするために頑張る記事の３本目です。 前回は、vboxsfでpage cacheを使えるようにして高速化を実現しました。 今回は、VirtualBoxのファイルシステムvboxsfと、VM上で使われているファイルシステムext4との違いを調べていきます。 もちろんvboxsfとext4では、ファイルシステムより下の構造が全く違います。 またvboxsfの場合、NFSと同様に複数のクライアント(vboxsfの場合、ホストOSやその他のゲストOS)からアクセスされるため、ext4ほどキャッシュを多用できないかもしれません。 とはいえ、何かしらvboxsfを速くするヒントが見つかるのではないか？と思い調べてみました。 比較してみる とりあえず、vboxsfとext4でどの程度違いが出るのか調べてみました。使っているのは、前回の修正を取り込んだpage cache付きのvboxsf
VirtualBoxのファイルシステムを10倍速くする 〜 page cache編 〜 : DSAS開発者の部屋
vboxsfを速くするために頑張る記事の２本目です。 前回は、findコマンドが遅いことを調べ、速くすることができました。 今回は、VirtualBoxのファイルシステムvboxsfと、VMWareのファイルシステムvmhgfsの違いをもっと調べていきます。 vboxsfとvmhgfsの速度を比較している記事としては、Comparing Filesystem Performance in Virtual Machinesが、わかりやすくまとまっていました。 この記事を見ると、 sequential readで、vboxsfでは100MB/s、vmhgfsでは500MB/s random readで、vboxsfでは100MB/s、vmhgfsでは7GB/s と、速度の差が大きいことを指摘され、さらには、 Because the deviation of the VirtualBox thr
最新のzfsonlinuxをUbuntuにインストール、アップデートする方法 - 情報技術の四方山話
AI、IoT、ヤマハルータ、VPN、無線LAN、Linux、クラウド、仮想サーバと情報セキュリティのよもやま話 最新のzfsonlinuxをUbuntuにインストール、アップデートする方法 いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。 今回は「最新のzfsonlinuxをUbuntuにインストール、アップデートする方法」の紹介です。 ■Ubuntu Linuxのバージョン $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 14.04.3 LTS Release: 14.04 Codename: trusty ■アップデートとバージョン確認手順 # apt-add-repository --yes ppa:zfs-native/stable
ext4 ファイルシステムの予約ブロック数を調整する - maruko2 Note.
ext4 ファイルシステムの予約ブロック数を調整する 提供：maruko2 Note. 移動： 案内, 検索 ディスクを ext4 でフォーマットすると、デフォルト設定では全容量の 5% が予約ブロックになる。 そのため、大容量ディスクを ext4 フォーマットすると、かなりの容量が予約ブロックとして確保されてしまう。 例えば 2TB のディスクの場合、予約ブロックは 100GB になる。 予約ブロック数を確認する方法 tune2fs コマンドを -l オプションを付けて実行する。 tune2fs -l /dev/md0 -l 指定したファイルシステムの情報を表示する。 EXT4 ファイルシステムの様々な情報が表示される。下記の例では、予約ブロック数（Reserved block count）が 71794662 で、ブロックサイズ（Block size）が 4096 byte (4KBy
RHEL7におけるDockerのディスクイメージ管理方式 - めもめも
変更履歴 2014/04/20 公開 2014/04/27 構成情報ファイルの説明追加 2014/06/15 dm-thinprovisiongのデバイスメタデータファイル変更 背景 先だって、「Linuxコンテナ(LXC)の基礎をまとめ直す」というコラムに、「来るべきDockerの波に向けて、まずは、コンテナの基礎を理解しましょう！」的な話を書きました。この中で、比較的に原始的なコンテナ利用法として、「RHEL6.2のlibvirtからLinuxコンテナを利用」という記事を紹介しています。 この記事では、busyboxを使った簡易httpサーバのコンテナを起動していますが、この手順に従うと（気づく人は）容易に気づくのが、コンテナに見せるファイルシステムの準備がいかに面倒か、という事実です。コンテナから見えるルートファイルシステムは、基本的には、ホスト上の特定のディレクトリにchrootし
VirtualBoxの仮想ディスク拡張手順(Linux版) - infra-tech-platinumの日記
1.VirtualBoxを起動して対象のゲストOSが停止している事を確認し、「設定」をクリック 2.「ストレージ」を選択して、拡張するvdiの詳細でストレージのタイプを確認 ※この場合は「固定」になっている 3.タイプが固定の場合は次のコマンドを実行して、可変に変更する VBoxManage clonehd --format VDI <元の仮想ディスク名> <変換後の仮想ディスク名> 【実行例】 c:\>"C:\Program Files\Oracle\VirtualBox\VBoxManage" clonehd --format VDI "C:\Users\XXXX\VirtualBox VMs\testdb-01\testdb-01.vdi" "C:\Users\XXXX\VirtualBox VMs\testdb-01\testdb-02.vdi" 0%...10%...20%...
イマドキのディスクマウント方法 - Qiita
あなたのfstab、いまだに/dev/sda1とか書いてませんか？ デバイスを認識順に依存して識別していたのは今や昔。 LABELやUUIDを使って恐怖のVFS: unable to mount root fs祭から抜け出しましょう。 古い情報や間違った情報が錯綜しているので、まとめてみました。 fstab(mountコマンド)編 いくつかありますが、よく使われるものだけ説明します。 カーネルのデバイス名を使った指定 おなじみ/dev/sda1などと指定する方法です。忘れましょう。 LABELを使った指定 ファイルシステムに付けるラベルを指定する方法です。ラベルを付与できないファイルシステムも有ります。 lsblk -fした時のLABEL欄の内容を指定します。 例) LABEL=SYSTEM / ext4 rw,relatime,discard,data=ordered 0 1 引用符でク
ext4 ファイルシステムのオーバーヘッドを厳密に理解する - とあるSIerの憂鬱
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
Linux なら expect でコマンドを自動化しよう | 温故知新 linux実践講座
Linux なら expect でコマンドを自動化しよう expect は対話的なプログラムとのやりとりを自動化するプログラムです。特定の文字列とマッチすると入力します。 対話プロンプトに自動入力できます。特定の文字列とマッチすると値を入力してくれます。 例) telnetでログインを自動化する 例) telnetでログインを自動化する #!/usr/bin/expect -- set timeout -1 spawn telnet hogehoge.com expect "login:" send "hoge\r" expect "Password:" send "hogepasswd\r" interact set timeout：expectのタイムアウト値はデフォルトで10秒になっているので10秒以上かかると思われる処理の場合 set timeout -1 でタイムアウトしな
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZFSでマウントポイントを変更する方法。 - 鯖缶