ファイルオープンと新フラグ
多人数により日々改善が加えられるLinuxカーネルですが、その中にはまったく新しい機能もあれば、既存機能を拡張したものもあります。本記事ではopen(2)に加えられた新フラグについて取り上げます。 O_TMPFILEフラグ ---- linux-3.11 2014年9月にリリースされたlinux-3.11では、ファイルオープン時に指定可能なO_TMPFILEフラグが追加されました。目的は従来のmkstemp(3)、tmpfile(3)と同様ですが、カーネルレベルで対応するため、効率とアトミック性が強化されます。glibcでは2014年2月にリリースされたv2.19でO_TMPFILEに対応しました。 従来のmkstemp(3)ファミリ、tmpfile(3)を用いる場合では、 一意な（と期待できる）ファイル名の生成 そのファイル名でファイルを作成/オープン という手順を踏みますが、一意性を保
最近のLinuxで有効になっているI/Oバリア機能と、RDBへの影響 | Unofficial DB2 BLOG
比較的新しいカーネルを採用したLinuxディストリビューションでは、ファイルシステムのI/Oバリア (I/O barrier)機能がデフォルトで有効になっています。例えばRedhat Enterprise Linux (RHEL) 6やSUSE Linux Enterprise Server (SLES) 11等はインストール直後の状態でext4ファイルシステムのI/Oバリアが有効になっているようです。 I/Oバリアは簡単にいうと、「バリア命令」の後で発行されたI/Oは、バリア命令の前に発行されたI/Oの後に必ず実行されるようにする仕組みです。つまりI/Oの順序（物理ディスクに反映される順番）をまもらせる仕組みといえます。 ファイルシステムにI/Oバリア機能が追加されたのは、ファイルシステムが不整合な状態になる可能性を減らすためです。 そもそも、急な電源断でもファイルシステムの不整合が起こ
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
Gentooを最速でブートせよ
Patrick's playground: October 2013 Archives KVM上のVMで、Gentooをひたすら短時間でブートして、haltさせる試み。 BOOTING FAST(ER) （より）高速に起動 本日、筆者は積年の疑問を解決すべく遊んだ。どのくらい速く、KVM上のVMでブートして、haltできるのか。 そこで、この実験のため、CPUの速度を最低の1.4GHzにした。そうでなければ面白くないだろう。目標は、KVMのVM上のGentoo/amd64を、十分に短い時間でブートして、haltすることだ。 rootファイルシステムはsquashfsにした。最初に行った1GBのext4ファイルシステム vs squashfsでは、fsck+mountというありがた迷惑のため、5秒の差がでたからだ。うへぇ。stage3を展開し、いくつか設定をして（デバッグのためにログインした
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
ext3ファイルシステムとファイルの削除・復元について
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 研究の一環でext3ファイルシステムのファイル管理方法や、ファイルを削除した時の復元について色々調べたので、それを忘れないように記事にしておこうと思います。 はじめに 今回はext3ファイルシステムについて調査してみました。僕はLinuxでファイルを扱う前提の研究をしているし、大規模環境でのファイルの処理はとても重要だと思っています。 また、ファイルシステムについて理解を深めておく事で、今後新たなネタにならないか等も考えています。現在はext4やBtrfs等の調査が進んでいますが、改めて基本に戻ってext3について調査しました。 まずは、分かりやすいようにext3ファイルシステムでファイルを削除した場合に、どのようにファイル復元ができるのかを
Mana Blog: AmazonEC2でGlusterFSを動かすための手順 (導入編)
2013年7月4日木曜日 AmazonEC2でGlusterFSを動かすための手順 (導入編) カテゴリ: EC2, GlusterFS 昨年、Linux女子部の勉強会で学んだGlusterFSを試してみました。 分散ストレージGlusterFS。手軽に始めてみたいけど、2ノード以上用意しないといけないので、敷居が高く感じちゃいますよね。 そこで、AWS。これだったらスラッと作れちゃいます。検証してみたい方は、ぜひお試しあれ。 以下の記事を参考にしています。また、個人のブログで発信している情報となるため、実施については自己責任でお願いします。 GlusterFS技術情報 AWSではじめるGlusterFS 構成 GlusterFS サーバー:Amazon Linux 4台(4ノード) GlusterFS クライアント:RHEL 6.4 ノードのブリックはEBSをアタッチ 手順 /e
Linux Tips - RAMディスク（/dev/shm）のIO性能をチューニングに活用する方法
アプリケーションやプログラムのパフォーマンスが思うように上がらない場合、ハードディスクへのファイルIOがパフォーマンスのボトルネックになっているケースが多々あります。ここでは、そのようなケースに対して有効なチューニング方法の一つ、LinuxのRAMディスク（/dev/shm）を用いたパフォーマンスチューニングについて紹介します。 RAMディスクとは、メモリの一部の領域を「仮想的なハードディスク」として割り当てて利用するものです。Linuxには標準でtmpfs（/dev/shm）というRAMディスクの仕組みが組み込まれており、簡単にRAMディスクの領域の作成して利用することができます。 RAMディスクのIO性能は、「CPUがメモリにアクセスするスピード」から「ファイルシステム制御のオーバーヘッド分」を引いた性能になります。RAMディスクを利用することで、ハードディスクではとても到達できないレ
Introduction to Ceph (Japanese) 0908 2011
20. [ ] tatsuya@ceph2c:~$ fio fio-scenarios/seqwrite-ceph-001w-test.fio seq-write: (g=0): rw=write, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1 Starting 1 process seq-write: Laying out IO file(s) (1 file(s) / 1024MB) Jobs: 1 (f=1): [W] [100.0% done] [0K/37768K /s] [0/9220 iops] [eta 00m:00s] seq-write: (groupid=0, jobs=1): err= 0: pid=5370 write: io=1024MB, bw=37681KB/s, iops=9420, runt= 27828msec cl
『【研究レポート抜粋】P2P Replicated File Store の実装』
上記表の通り、仮想ノードにより偏りは少なくなったが、仮想ノードの導入により以下の問題が発生する。 ノード追加時のデータコピーの局所性物理ノードだけでコンシステントハッシングを行う場合、ノードを追加した際は新ノードが配置される場所の次に位置するノードからデータをコピーするだけでよいという特徴がある。 しかし仮想ノードを導入すると仮想的なノードが入り混じる形で配置されるので、結果的に全ての物理ノードにデータコピーが発生する。 そのため、P2P Replicated File Storeではオンラインでのノード追加機能を諦め、ノード追加時には再起動による再配置に絞ることにした。 耐障害性 レプリケーション P2P Replicated File Store では、ファイルの格納時にノード側でレプリケーションを自動的に行う。 上図のようにシーケンシャルにファイルレプリケーションを行う。 非同期での
HDFSはファイルサーバーに使うものじゃないよ
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
kikumotoのメモ帳
google/internal/externalaccount: Adding metadata verification · golang/oauth2@ec4a9b2 · GitHub の変更により、以下の仕組みは hashicorp/google バージョン v4.59.0 移行では動作しなくなりました。 AWS FargateでAtlantisを動かして、AWSリソースに対するTerraformのPlanのレビューやApplyをPR上で行なっていたのですが、GCPリソースに対しても必要になってきたので、その時に行った作業のメモ。 なお、AWS Fargateで稼働するAtlantisから、GCPリソースを構築する - 失敗編 - kikumotoのメモ帳 で一度環境を作ったのですが、やり方がまずかったので改めて取り組んだメモとなります。 こちらの記事だけで話しが完結するように、一部
Native ZFS Port for Linux (OSNews) [LWN.net]
OSNews is reporting that employees at the Lawrence Livermore (US) National Laboratory have ported Sun/Oracle's ZFS filesystem to Linux. The kernel module is distributed in source form to work around the licensing incompatibility between the CDDL and GPL. "Main developer Brian Behlendorf has also stated that the Lawrence Livermore National Laboratory has repeatedly urged Oracle to do something abou
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
google/jimfs · GitHub - An in-memory file system for Java 7+
Bug #992424 “ext4 filesystem errors on SSD disk” : Bugs : linux package : Ubuntu
IBM Developer
https://kosmosfs.sourceforge.net/index.html
IBM Developer
Charming Python: Functional programming in Python, Part 3
https://kosmosfs.sourceforge.net/