Linuxのファイルシステム「Btrfs」を5年間使用した記録
by Rawpixel ストレージに記録されたデータを管理するファイルシステムは、WindowsのNTFSやLinuxのext4が有名ですが、他にもLinuxで使えるファイルシステムとしてZFSやBtrfsがあります。そのBtrfsを自身のサーバーで5年間使用したMark McBrideさんが、Btrfsを選んだ理由とその使い勝手を評価した記録を公開しています。 Five Years of Btrfs | MarkMcB https://markmcb.com/2020/01/07/five-years-of-btrfs/ Btrfsはファイルの自己修復機能やスナップショット機能を備えた障害に強いファイルシステムであり、企業のサーバーなどで採用実績があります。Markさんは自身のサーバーのデータ容量が増え、ストレージシステムを見直そうとしたとき、BtrfsとZFSのどちらを採用すべきか迷っ
アプリ屋がつくった分散ストレージソフトウェア「Scality RING」が普通でない理由
スケールアウトストレージソフトウェア「Scality RING」を開発・提供する米スキャリティは3月5日、日本法人スキャリティ・ジャパンを設立した。この製品は他とどう違うのかを、米本社COOに聞いた。 米Scalityは3月5日、日本法人スキャリティ・ジャパンを設立、日本での本格的な事業展開を開始した。国内大手携帯キャリア3社のうち2社が電子メール用ストレージとして採用するなど、すでに国内における販売実績もある。日本法人社長に就任した江尾浩昌氏は、最優先事項として技術サポート体制の充実を挙げている。 ペタバイトレベルのデータがある組織のためのストレージ Scality RINGは、汎用サーバーを用い、大規模なオブジェクト／ファイルストレージを構築できるソフトウェア。200TB以上のストレージニーズを持つ組織が利用の目安だが、1PBを超えるあたりから同製品の優位性が明確化してくるという。同社
Ceph/RADOSの実装から動作の仕組みを理解する
OpenStack環境下の分散ストレージとして注目を集めるCeph/RADOS。今回は各コンポーネントを深掘りして挙動を理解していく。分散の仕組みや特徴を理解することで、より良いシステム構成検討を目指そう。 連載バックナンバー Ceph/RADOSの実装から動作の仕組みを理解する 前回の記事ではCeph/RADOSの成り立ちや、注目されている理由、他の類似プロダクトとの違いを見てきました。 今回はCeph/RADOSがどのような構成で分散ストレージを実現しているのかを理解していきましょう。 Ceph/RADOSの実装を見る まず、Ceph/RADOSの技術的な概要を見ていきましょう。 Ceph/RADOS環境は、分散オブジェクトストレージであるRADOSがベースとなっています。RADOSはアプリケーションから直接使用する他、コンポーネントを足すことで各種サービスインターフェース（ブロックイ
cpで大量のファイルをコピーした（4億3200万件、39TB）
GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし
InfiniBandで変わるデータセンター内通信（後編）（1/2） － ＠IT
構築からトラブルシューティングまで InfiniBandで変わるデータセンター内通信（後編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2011/7/20 10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部） 前編の記事を公開した後に、東日本大震災が発生しました。お亡くなりになられた方々やご遺族には心よりのお悔やみを、またすべての被災者の皆さまには心よりお見舞い申し上げます。そして、復旧に尽力されたすべての皆さまにお礼申し上げます。 56Gbpsも見えてきた、InfiniBandを巡る最新動向 現在普及しているInfinband規格がQDR 40Gbpsですが、その帯域を超える
Flashストレージ向けに新I/Oスケジューラを提案 - Linuxカーネル
Linuxカーネルメーリングリストに、Flashベースのストレージ向けの新しいI/Oスケジューラのアイデアと、このアイデアを実現するためのパッチが公開された。ディスパッチの決定にスライスではなくIOPS特性を利用した仕組みを採用しており、「FIOPS (Fair IOPS) I/Oスケジューラ」と呼ばれている。 ハードディスクの内部ではディスクが回転しており、I/Oスケジューラはこの物理特性を加味した設計となっている。一方で、ディスクの回転がないSSDなどのFlashベースのストレージは、ハードディスクとは特性が異なってくる。 公開されたアイデアでは、まずハードディスクとは異なるFlashベースストレージの特徴として次の4点を説明し、従来のI/Oスケジューラの想定と異なることを指摘している。 I/Oシークが発生しない 読み込みと書き込みのコストが大きく異なる リクエストにかかる時間はリクエ
自分専用の“DropBox”を作れる ownCloud
ジャンル：ストレージサーバー構築ソフト ライセンス：GNU AGPL version 3 作者：Frank Karlitschek氏 URL：http://ownCloud.org/ ownCloudは、クラウドサービスである「DropBox」のようなストレージ管理サーバーを構築するためのソフトである。SSLを使った暗号化通信に対応しているため、インターネット経由で利用することも可能だ。 オンラインストレージサービスを提供するサーバーを構築できる（写真1）。ファイルのアップロードやダウンロードは、基本的にWebブラウザを使う。WebDAVにも対応しているので、ファイルマネージャ「Nautilus」からアクセスすることも可能だ。
FreeBSD 9、ZFSv28を取り込み - 重複排除機能(Deduplication)など導入 | エンタープライズ | マイコミジャーナル
FreeBSD - The Power To Serve 2月28日、FreeBSD 9開発版のZFSが最新移植バージョンへアップグレードされた。FreeBSD 9がサポートするZFSプールのバージョンが28、ZFSのファイルシステムバージョンが5に更新されたことになる。それまでFreeBSD 9はZFSプールは15を、ファイルシステムバージョンは4をサポートしていた。プールが15から28へアップグレードされたことでさまざまな機能が利用できるようになっている。特に注目されるポイントは次のとおり。 重複排除機能(Deduplication)の導入 トリプルパリティRAID-Zの実現 (RAIDZ3) ZFS diffの導入 ミラー化されたZFSストレージプールをそれぞれ新しいプールに分割するzpool(1M) split機能の導入 スナップショットユーザホールドの実現 zpool(1M) i
【レポート】EuroBSDCon2010 - FreeNAS 8、新しいNASソリューション | エンタープライズ | マイコミジャーナル
FreeBSD - The Power To Serve 7日と8日、ドイツのカールスルーエにおいてFreeBSD DevSummitが開催された。続く9日と10日にはEuroBSDCon 2010が開催されている。毎年この時期に開催されている*BSD国際会議で、欧州では最大の*BSDカンファレンスとなる。 FreeBSDの最新開発状況に関する興味深い発表がいくつかあったので、内容をかいつまんで紹介する。 FreeNAS 7ストーリ FreeBSDをベースに開発されているプロダクトのひとつにFreeNASがある。名前の通りNASソリューションを構築するためのプロダクト。インストールするとWeb GUI経由でさまざまな設定や操作が可能。手軽にインストールでき、さらにZFSも利用できるということで人気がある。FreeNAS 7の主な特徴は次のとおり。 FreeBSD m0n0wall (モノウ
Linuxカーネル2.6.34リリース - 注目は新ファイルシステム"Ceph" | エンタープライズ | マイコミジャーナル
Linus Torvalds氏は5月16日(太平洋夏時間)、Linuxカーネル2.6.34の正式公開を発表した。 今回のリリースで最も"エキサイティング"な機能追加は新たに採用された2つのファイルシステム「Ceph」と「LogFS」。Cephは、複数のストレージ間にデータを分散できるObject Storage Device(OSD)を核の技術としており、テラバイトからペタバイトまでの大容量ストレージを扱えるファイルシステム。RAIDとは異なり、複数の分散ストレージにデータのレプリカを保存できる信頼性の高い負荷分散機能が特徴。IBMが中心となって開発が進められていたが、今回よりめでたくメインストリーム入りとなった。もうひとつのLogFSはSSDなどフラッシュデバイスの高速アクセスを可能にするファイルシステムである。 そのほかの主な機能追加および改良点は以下の通り vhost-net … K
2TBを超えろ！ ATAディスクの4Kセクタ問題とは？（1/2） － ＠IT
3月版 2TBを超えろ！ ATAディスクの4Kセクタ問題とは？ 小崎資広 2010/4/7 前回書いたsys_membarrier()ですが、なかなかマージされない状態が続いています。だいたい議論も出尽くして後はマージするだけだと思っているのですが、どうもIngoは気に入らないご様子。たぶんオレ専用APIっぷりが美的感覚に合わないのでしょう。いつも「Genericに使えるように」っていいますから。 Compactionパッチは、マージの一番のネックだったkosakiがなかなかレビューしない問題は先月若干進展して、マージする方向で進んでいるみたいです。 さて、今月は久しぶりにハードウェアのお話です。ハードディスクの容量が2TiB（編注：テビバイト、1024GiB）を超えるのと前後して、4KiB（編注：キビバイト、1024bytes）セクタのハードディスクが出回り始めています。これについてハー
ファイルサーバの文字化けの解消方法は？ (1/3)
ファイルサーバを使っていて、ファイル名が文字化けしてしまった経験はないだろうか。サーバもクライアントもWindows同士の場合は、基本的には文字化けは起こらない。起きるとすれば、クライアントがWindows、ファイルサーバがLinuxでSambaの場合だろう。それでは、どうしたらこの問題は解決できるのだろうか？ Sambaでの文字化け サーバもクライアントもWindows同士の場合は、基本的には文字化けは起こらない。起きるとすれば、クライアントがWindows、ファイルサーバがLinuxでSambaの場合だろう。 なお、NAS（Network Attached Storage）として販売されている製品は、中身がLinuxでSambaを採用している場合が多い。これは、ライセンス料などの面で有利だからだろう。また、オープンソースとして公開されているSambaであれば、ベンダー側での拡張やカスタ
通常マシンをエンタープライズストレージとして使用可能にするOpenfiler
通常マシンをエンタープライズストレージとして使用可能にするOpenfiler：Leverage OSS（1/3 ページ） さまざまなベンダーから販売されているストレージ製品。しかし、この種のハードウェアの実態は、ごく一般的な構成であったりする。それならば、Openfilerを用いて通常のサーバをエンタープライズレベルのストレージ専用マシンとした方がはるかに経費節約につながる。 システムエンジニアであるわたしは、各種の企業クライアントの求めに応じる形で、これまでさまざまなストレージを扱ってきた。実際そうした環境で使われている方式は、DAS（Direct Attached Storage）、NAS（Network Attached Storage）、SAN（Storage Area Network）、iSCSI（Internet Small Computer System Interface）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
IBM Developer
IBM Developer
オンラインストレージ「Ubuntu One」向けのWindowsクライアント、正式版公開 
＠IT：VMwareのフォルダ共有機能を使うには
【イニシャルB】目からウロコの超快適パーソナルクラウド環境「Pogoplug」 
OpenSolaris で rpool をミラーにするにはどうしたらいいのか