タグ

filesystemに関するstarposのブックマーク (42)

  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
  • Linuxカーネル2.6.30がリリース - NTT発のNILFS2がファイルシステムに採用 | エンタープライズ | マイコミジャーナル

    イマイチ知名度が上がらないマスコットのTuz。今回はLinusのメッセージでも触れられていなかったが… Linus Torvalds氏は6月9日(太平洋夏時間)、Linuxカーネルの最新バージョン「Linux 2.6.30」のリリースを発表した。 今リリースでの最大の特徴は、ログ構造ファイルシステムである「NILFS2(ニルフス2)」を採用したこと。NTTがコントリビュータとなって開発を手がけていたファイルシステムで、オープンソースとして公開されている。サービスを停止することなくスナップショットを連続的に取得できるため、過去の任意の時点におけるシステムを容易に復旧することを可能にする。日のコントリビュータからの提案がファイルシステムに採用されたのは今回が初めてだという。 その他の主な特徴は以下の通り。 ブート時間の短縮(ブートプロセスにおいてストレージデバイスをパラレルにスキャンすること

    starpos
    starpos 2009/06/12
    ついにスナップショット機能が!
  • 米Novell、オープンソースのファイル同期ソフト「iFolder 3.7.2」リリース | OSDN Magazine

    米Novellが出資するオープンソースプロジェクト、iFolder Projectは4月3日(米国時間)、ファイル同期ソフトウェアの最新版「iFolder 3.7.2」をリリースした。Mac OS XとWindows Vistaのサポートが加わった。 iFolderはLinuxWindowsMacintoshの異なるOS間でファイルを安全に共有/同期できるソフトウェア。「Nobell Open Enterprise Server」の一部である「Novell iFolder」の土台となるオープンソースプロジェクト。 サーバーを立てるエンタープライズ共有とPtoP(サーバーなし)のワークグループ共有の2つのモードが可能。2003年にオープンソースとなり、今回のリリースは2007年以来となる。 最新版では、Mac OS X(10.4と10.5)、Vista(32ビットと64ビット)の対応が加

    米Novell、オープンソースのファイル同期ソフト「iFolder 3.7.2」リリース | OSDN Magazine
  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
  • Seekwatcher

    Seekwatcher generates graphs from blktrace runs to help visualize IO patterns and performance. It can plot multiple blktrace runs together, making it easy to compare the differences between different benchmark runs. Download Version 0.12 HG repo tar.gz of the latest commit Examples: Btrfs streaming writes across multiple devices Ext3 Btrfs and XFS creating 20 copies of the Linux kernel sources Ext

    starpos
    starpos 2009/02/11
    blktrace関係.
  • compFUSEd:ディスクスペースの節約に役立つ圧縮ファイルシステム | OSDN Magazine

    Filesystem in Userspace(FUSE)とは、Linuxカーネルに手を付けることなく独自ファイルシステムのインストールを可能にすることを目的としたモジュールだ。こうして追加されるファイルシステムは通常のプログラムの1つとして動作するので、共有ライブラリを使用できる他、Linuxカーネル内部からでは実行困難な処理を行わせることも可能であるのと同時に、当該マシン上のアプリケーション群から見た場合のFUSEファイルシステムは、ごく通常のファイルシステムとして認識されるのである。そして稿で解説する compFUSEd は、自動圧縮機能を備えたFUSEファイルシステムを提供するためのツールであり、特にテキストドキュメントや実行可能ファイルといった圧縮性の高いファイルを多数扱う場合、compFUSEdの使用はディスクスペースの大幅な節約を持たらしてくれる。 compFUSEdはオー

    compFUSEd:ディスクスペースの節約に役立つ圧縮ファイルシステム | OSDN Magazine
  • exFAT - Wikipedia

    Windows Embedded CE 6.0 Windows XP SP2 以降[2] Windows Server 2003 SP2[3] Windows Vista SP1 以降 Windows 7 Windows 8 Windows 10 Windows Server 2008(但しHyper-V Serverでは非対応) Windows Server 2008 R2以降 Linux(メインラインカーネルドライバ[4]およびFUSEを利用した実装) Mac OS X v10.6.5以降 一部のAndroid端末 exFAT(イーエックスファット、Extended File Allocation Table)は、マイクロソフトによって2006年に導入されたプロプライエタリなファイルシステムである。USBフラッシュドライブやSDカードなどのフラッシュドライブ向けに最適化がされている。

  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
  • 楽天版MapReduce・HadoopはRubyを活用 - @IT

    2008/12/01 楽天は11月29日、東京・品川の社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」(ローマ)と「fairy」(フェアリー)について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション(商品の推薦)を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア

    starpos
    starpos 2008/12/02
    なんでインフラソフトウェアに,GCを使うような言語を使うんだ!Rubyはwrapperでいいだろが.
  • DragonFly BSD 2.0登場 - HAMMERファイルシステム注目 | エンタープライズ | マイコミジャーナル

    DragonFly BSDの主要開発者であるMatthew Dillon氏は21日(米国時間)、同OSの最新版メジャーリリースとなるDragonFly BSD 2.0を公開した。DragonFly BSDはFreeBSD 4系から派生したOS。FreeBSDとは異なるアプローチでマルチコア/プロセッサシステムへのアプローチを進めることをめざしている。 DragonFly BSD 2.0は一つの区切りとなるリリースだ。特に注目されるのはHAMMERファイルシステムが同梱された初のメジャーリリースという点。HAMMERファイルシステムはMatthew Dillon氏が開発を進めている新しいファイルシステムで、ZFSとよく似た機能を提供しつつもZFSの冗長な部分を排除した設計になっている。 現時点のHAMMERファイルシステムはマルチボリュームに対応し最大のストレージ容量は1エクサバイト。クラッ

    starpos
    starpos 2008/08/08
    ZFSの機能限定版のようなものらしい.
  • 日本IBM

    女性が生成AIの活用を牽引して未来を拓く ビジネスを一変させつつある生成AI。女性が先駆者となることで実現できる世界があります。 詳細レポートを入手 このたびの令和6年能登半島地震で被災された皆様に謹んでお見舞い申し上げます。 令和6年1月1日に発生した能登半島地震により被災されたお客様向けの保守サービス特別対応 システム開発や運用に生成AIを活用する「IT変革のためのAIソリューション」により、生産性と品質の向上を実現

    日本IBM
    starpos
    starpos 2008/08/08
    wear-leveling アルゴリズムは各社極秘らしいです.寿命にダイレクトに関わるので.ああ知りたい.
  • まつぼっくり - ext3ってinode増えすぎると壊れるくさい

    2回経験した。 ■1 PVがほどほどにあるサイトで、PHPを使ってページをレンダリングしていた。 PV数が多くなり、PHPのGCの処理が追いつかなくなり、セッションを保存するファイルが消えずにどんどん溜っていった。 →fsckかけたらエラーだらけ。 ■2 logrotateの設定をミスって、rotateしたログをrotateするという指数的にファイル数が増える状態になっていた。 設定を間違っているのに気づき、ファイルを消した。その後、logrotateが途中で止まる。logrotate -dしても途中で止まる。CPUはuserレベルで100%使ってた。 →fsckかけたらエラーだらけ。 ext3 ファイルシステム信頼できね。

    starpos
    starpos 2008/08/08
    誰かが言ってたけど,opensourceのソフトウェアは非常にレアな使い方をするケースでの安全性はあまり期待できないらしい.まあ商用のソフトみたいなテストはやってないだろうからね.
  • DragonFlyBSD: hammer

    HAMMER2 HAMMER2, the successor of HAMMER, is under active development since 2012 and now the official default filesystem for DragonFly. General Details Block copy-on-write filesystem Instant recovery on mount Instant snapshots Mounted snapshots are writable Automatic snapshotting can be enabled at the system level via periodic scripts Default Periodic also does daily bulk pass on the meta-data to

  • 次世代ファイルシステムTux3発表、バージョニングファイルシステム | エンタープライズ | マイコミジャーナル

    Daniel Phillips氏がTux3, a Versioning Filesystemのタイトルのもとで新しいファイルシステム「Tux3」に関する発表をおこなっている。説明によればTux3はDaniel Phillips氏の考案しているストレージデータバージョニングの実現や効率のいいスナップショット/レプリケーション機能の実現を目指したファイルシステムということになる。最終的には同じく高性能スナップショット機能を提供しているZFSよりも優れたものに仕上げたいようだ。 Tux3の大まかな特徴は次のとおり。 ファイルごと、ディレクトリごと、ファイルシステムごとのバージョン管理が可能 ファイルごと、ディレクトリごと、ファイルシステムごとのリモートレプリケーションが可能 すべてのバージョンが書き込み可能 最大ファイルサイズ: 2の60乗 最大ボリュームサイズ: 2の60乗 最大バージョン数:

    starpos
    starpos 2008/08/06
    ZFSの競合(と主張).スナップショットやリプリケーションをファイルシステムレベルでやるべきか.個人的には是.
  • ファイル・サーバのデフラグメントについて考える(1/4) - @IT

    [運用] ファイル・サーバのデフラグメントについて考える ―― ツールを活用したファイル・サーバの自動デフラグ ―― 1. デフラグの基礎知識 井上 孝司 2008/07/23 ハードディスクのようにブロック単位でデータを記録するメディアでは、ファイルの断片化(フラグメントの発生)という問題が不可避である。空白の状態にファイルを記録した時点では、そのファイルを構成するデータは連続するブロックにきれいに並んだ形で記録されているが、内容の変更に伴うファイルのサイズの増減や、ファイルの追加や削除によって適正なサイズで連続したブロックを確保できず、飛び飛びに記録された状態にならざるを得なくなる。 これは利用形態に関係なく共通する問題だが、特にファイル・サーバの場合には、複数のユーザーによって共有され、大量のファイルを扱うことになる分だけ、クライアントPCに比べて断片化が発生しやすい。一般に断片化し

    starpos
    starpos 2008/07/30
    一般向けの記事としてはまあいいのではないか.Raxicoのホワイトペーパーを読んだが,技術者向けとは思えない内容の薄さだったのががっかりだった.
  • CentOS で aufs (another unionfs) を使う - daily dayflower

    フラッシュメモリデバイスなディスクに Linux をインストールしたい ⇒ 書き換え限度回数が心配だよ ⇒ CDROM bootable な OS にすればいいよ ⇒ システムの変更やアップデートのときが面倒だよ ⇒ read only filesystem の上にかぶせることができる UnionFS を使えばいいよ ⇒ UnionFS より aufs のほうがおすすめだよ ということで,CentOS 5.2 に aufs をいれてみました。ちなみに「やってみた」レベルのお話です。 aufs とは aufs とは,スタッカブルな「単一化」ファイルシステムです。まぁーつまり,単一ファイルツリーに複数の「ブランチ」を透過的に重ね合わせることができます。 KNOPPIX 5.1 以降で使われています。 ビルドする 残念ながら RPM パッケージは用意されてないので,CVS で最新版をダウンロード

    CentOS で aufs (another unionfs) を使う - daily dayflower
    starpos
    starpos 2008/07/16
    スタッカブルな単一化ファイルシステム.関連: knoppix
  • Linuxの次世代ファイルシステムは「バターFS」!? − @IT

    「ext3は……古くて遅い。次バージョンのext4も基的にext3と同じ問題を抱え込んでいる。ext4で解決されるext3の欠点は一部に過ぎない」。7月9日にLinux Foundation Japanの主催で行われたシンポジウムで講演した米グーグルのアンドリュー・モートン氏は、こう話し、現在Linuxはファイルシステムに課題を抱えていると指摘する。 Linuxで使われているファイルシステムにはいろいろあるが、現在最も広く使われているのはext2の後継として開発されたext3と呼ばれるファイルシステムだ。耐障害性のあるジャーナリング・ファイルシステムとして、ext3以外にもJFS、ReiserFS、XFSなどがLinuxでサポートされているが、これらはデ・ファクト・スタンダードとして利用されているext3に比べるとマイナーな存在だ。「XFSはパフォーマンスは良いが、サポートが十分ではなく

    starpos
    starpos 2008/07/11
    BtrFSだって。ZFSと似てるって。ふーん。
  • MOONGIFT: » みんなで共有するストレージシステム「OFFSystem」:オープンソースを毎日紹介

    詳細はつかみきっていないが、P2Pとは少し毛色が異なるようだ。個人のストレージ容量が増大していく中、オンラインのストレージシステムやファイルサーバが発展し、それほど個人では容量を使い切ることがなくなってきている。 メイン画面 そうした余ったストレージをみんなで共有できれば、とても便利なものになりそうだ。そして必要になった時に取り出せば良い。 今回紹介するオープンソース・ソフトウェアはOFFSystem、Owner Free Filesystem(オーナーフリーファイルシステム)と名付けられたファイル共有ソフトウェアだ。 OFFSystemはファイルを検索し、アップロード/ダウンロードできるソフトウェアだ。ファイルは細かく分割され、各ノードに対して分散して保存される。それらのデータブロックは細かく分断されるので、各断片単位では著作権が存在しない(なのでオーナーフリー)と主張している。 設定画

    MOONGIFT: » みんなで共有するストレージシステム「OFFSystem」:オープンソースを毎日紹介
    starpos
    starpos 2008/07/09
    数年前にどっかで論文を見た記憶がある.メリット:気軽にavailabilityが得られる.デメリット:性能,ネットワークなど無駄なリソース使用.容量は平均的には提供した分しか使えない.
  • Gluster

    Gluster is a free and open source software scalable network filesystem.

    Gluster
    starpos
    starpos 2008/07/09
    RDMAを使うようだ.