EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
Stray Penguin - Linux Memo (NFS)
NFS ファイル共有システムは、良い意味でも悪い意味でも「古い」。UNIX 系 OS にはほぼ必ず実装されているので、LINUX マシン同士でファイルを簡単にやりとりすることができる。しかし一方、メールの SMTP プロトコルのように、他人 (他PC) が信じられる時代の性善説で成り立っているプロトコルである点は否めず、セキュリティを確保しながら利用するのは難しい。出来る限りのセキュリティ対策を施し、ローカルネットワーク内のみでの使用に限定し、使う時だけ起動させる姿勢で用いるべきだ。 ※ 当ページは NFSv4 が使い物になる前、主に nfs-utils 1.0.4 での検証を元に書いたものだ。NFSv4 については、もっと最近別ページにまとめた。 NFS の動作に関係するデーモン RedHat 系の RPM パッケージでは、portmap だけは portmap パッケージ、それ以外は
NFSの稼働状況確認 - mikedaの日記
稼働中NFSの状態確認コマンドをメモ書き クライアント側 マウント状況、オプションの確認 [root@nfs-client01 ~]# df -h ... 192.168.1.154:/tmp/ 65G 47G 15G 77% /mnt [root@nfs-client01 ~]# mount ... 192,168.1.154:/tmp/ on /mnt type nfs (rw,addr=192,168.1.154)チューニングのためrsize、wsizeを大きくしていたり、 サーバ停止時の対策としてsoft、intr使ってるなら、ちゃんと入ってるかチェックしましょう アクセス状況の確認 [root@nfs-client01 ~]# nfsstat -c Client rpc stats: calls retrans authrefrsh 1616 0 0 Client nfs v3:
Stray Penguin - Linux Memo (NFS)
NFS ファイル共有システムは、良い意味でも悪い意味でも「古い」。UNIX 系 OS にはほぼ必ず実装されているので、LINUX マシン同士でファイルを簡単にやりとりすることができる。しかし一方、メールの SMTP プロトコルのように、他人 (他PC) が信じられる時代の性善説で成り立っているプロトコルである点は否めず、セキュリティを確保しながら利用するのは難しい。出来る限りのセキュリティ対策を施し、ローカルネットワーク内のみでの使用に限定し、使う時だけ起動させる姿勢で用いるべきだ。 ※ 当ページは NFSv4 が使い物になる前、主に nfs-utils 1.0.4 での検証を元に書いたものだ。NFSv4 については、もっと最近別ページにまとめた。 NFS の動作に関係するデーモン RedHat 系の RPM パッケージでは、portmap だけは portmap パッケージ、それ以外は
パフォーマンス・マネージメント・ガイド - NFS のパフォーマンスのチューニング
NFS ネットワークでは、チューニングの主要な対象はサーバですが、クライアントにもいくつかチューニングできるものがあります。 必要な biod および nfsd デーモンの数 biod および nfsd デーモンは、 1 度に 1 つの要求を処理するので、また、NFS の応答時間は多くの場合、応答時間全体の中で一番大きい部分を構成しているので、biod または nfsd デーモンが不足しているためにスレッドがブロックされるのは望ましくありません。 注: AIX バージョン 4.2.1 以降は、nfsd および biod デーモンがどちらも 1 つ存在し、それぞれがマルチスレッド化されています (プロセス内に複数のカーネル・スレッドが存在します)。また、スレッド数を自己チューニングして、必要に応じて追加のスレッドを作成します。ただし、 nfso コマンドの nfs_max_threads パ
NFSのチューニング - 元RX-7乗りの適当な日々
何故か遅いNFSをチューニングするべく検証。 # 5MBの書き込みに27秒もかかるのはちょっと。。。 下記の検証結果が、全ての環境であてはまるわけではないため、ご参考程度までに。 検証時の構成 Linux(Xen domainU) ---NFS mount---> Linux(Xen domain0)Xenのバージョンは3.0.2(linux kernelは2.6.16)。 # NICのデバイスも所詮はXenによって仮想化されているので、それほど参考にならないかもなぁ・・・。 実験内容 設定をいじる server: /etc/exports client: autofs(/etc/auto.master) マウント先に、5MBのブロック(1ファイル)を書き込み # マウントポイントの名前は適当(^^; 設定1(syncのみ) server: /home/share client_hostn
> Sun NFS サーバーの調整 > 第 2 章 NFS 性能の分析
第 2 章 NFS 性能の分析 この章では、NFS 性能の分析方法について説明します。システムを調整するための一般的な手順を簡単に示し、ネットワーク、サーバー、各クライアントの検査方法について説明します。 調整手順 NFS サーバーを最初に設定する際には、サーバーが最高の性能を発揮するように調整する必要があります。また、後で、特定の状況に応じてよりよい性能が得られるように、その都度調整する必要があります。 全般的な性能を向上させるための調整手順 以下の手順に従って、NFS サーバーの性能を向上させます。 ネットワーク、サーバー、各クライアントの現在の性能レベルを測定します。「ネットワーク、サーバー、クライアントの性能検査」を参照してください。 収集されたデータのグラフを作成し、分析します。例外、ディスクと CPU の使用状況、ディスクサービス時間を調べてください。しきい値または性能値ルール
そろそろNFSのアレっぷりから目を逸さず | bananan_wの日記 | スラド
Linux の NFS はアレなのは皆さん良く聞くところだと思うのですが、やっぱりアレだと思いますです。NFS サーバ上に dd でファイルを作ったり読み込んだりして見たんですがどーも変です。dd で書き込む時には生のハードディスクの速度がでる(約320Mbps)んですが、dd でそのファイルを読み込んだ時には切なくなるぐらい遅い(訳32Mbps)です。 NFSサーバは 768MB のメモリがあるので、1GByte のファイルを4個作る速度と、作ったファイルの読み込み速度を調べてみたのです。 どーやら Read の時に nfs: server 192.168.1.100 not responding, still trying nfs: server 192.168.1.100 OK が激しくでているのが原因だと思われるのですが具体的にどの値をどのぐらいに変更してあげると具合が良いのかとか
処理が遅い場合の調査
処理が遅い場合, 問題が, ディスク I/O, CPU能力, ネットワ−ク, メモリ不足, NFS 等のうちどこにあるかが問題になる.(いや,他にもありうるけど) ディスク I/O や ネットワ−クが問題になることが多いと思う. ネットワ−ク関連では, hosts ファイル や DNS に無登録のマシンだったり, NIS 参照に問題が出ていたり, また, 自分自身でなく NFS サ−バが遅いのが原因の例もあった. 機材の故障やケ−ブル不良で, ネットワ−クに大量のエラ−がでているのが 原因のことも多い. 複数の DNS サ−バを参照しているばあい, DNS サ−バの参照順が適切か考え直してみる. 使用する tool vmstat, free, top, netstat,tcpdump 等は普通に使えると思う. 負荷のモニタは procmeter が気に入っている. ネットワ−クの状況は I
NFS - external storage 1
http://www.asahi-net.or.jp/~AA4T-NNGK/nfs.html http://www.linux.or.jp/JF/JFdocs/NFS-HOWTO/performance.html 5.6. NFSD のインスタンスの数 Linux でも他の OS でも、ほとんどの起動スクリプトでは、 nfsd のインスタンスを 8 つ起動します。 NFS の最初の頃に Sun はこの値を経験則として決め、その後はみんなこの値をコピーしているのです。どのくらいのプロセス数が最適かを決める良い基準はありませんが、トラフィックの大きいサーバではより大きな値にするのが良いでしょう。最低でもプロセッサ当たりひとつのデーモンは起動すべきで、プロセッサ当たり 4 から 8 というのがだいたいの目安になるでしょう。 2.4 以降のカーネルを使っている人は、各 nfsd スレッドがどのくら
『NFSマウントした領域内でPHPのsession_startを実行すると異様に重い件』
PHPネタと思いきやLinuxサーバーネタで。 NFSマウントしたディレクトリ領域内でPHPのsession_startを実行すると30秒ほど待ち時間が発生するという状況が発生しました。 今回現象が出た環境はRedHat Enterprise Linux5で、ストレージ内のコンテンツ領域のディレクトリをマウントしています。 NFSの設定やマウントオプションが問題なのかなと思い、原因を調査してみました。 結論から書くと、クライアント（NFSマウントする）側でnfslockデーモンを起動してあげることで状況は改善しました。 今回の現象は、そもそもNFSサーバー上のコンテンツ書き込みが遅いということではなかったため（vimで書き込んだり、touchコマンドでファイル作成しても一瞬で終わる）、セッションファイルを作成してそれをロックするのに時間がかかっているのかなと思い、ファイルロック周りの仕様を
スケーラブルで堅牢な参照用NFSサーバのつくりかた — ディノオープンラボラトリ
今開発しているサービで、約100台位のサーバに対し/usrマウントを提供しているのNFSサーバがあります。参照専用とはいえ、100台位になってくるとそこそこのパフォーマンスが要求されますし、/usrという重要なポイントをマウントしているため冗長化も重要です、また台数が日に日に増えているためとスケールアウトも出来なくてはなりません。そこで、スケーラブルで障害に強い参照用NFSサーバを構築してみました。 簡単なイメージは下図のとおりです。 NFSサーバはA,Bの2台ありそれぞれrsyncで内容が同期されています。それぞれのNFSサーバには仮想IPアドレス(以下、VIP)がそれぞれついています。クライアントはマウント時に、nfs.mynet(mynet部分はサービスのドメイン名等)をDNSに問い合わせると、DNSはNFSサーバのVIPのどれかを返却します。問い合わせごとに返却されるVIPが変わ
NFSサーバとクライアント | OpenGroove
Linux LPIC編。（第10章 ファイル共有） 第10章の〆はNFSサーバとクライアントの設定や確認など。 NFS(Network File System)がどういうサービスかというのは割愛するとして、 まずサービスを提供するデーモン、必要となるデーモンは。 portmap RPCプログラム番号をTCP/IPポート番号に変換（マッピング）する nfsd ファイルシステムのエクスポートとクライアント要求の処理 mountd リモートファイルシステムのマウント・アンマウント portmapに関しては、サーバ、クライアント両方に必要。 RPCプログラムについてきちんと書こうとすると長くなるので、、、走り書き程度のメモに。 /etc/rpcファイルでRPCサービスに付けられたRPCプログラム番号が確認できる。 rpcinfoコマンドでRPCサービスの状況を確認できる。 以下例ではホストを指定し
mount関連の小ネタ - メモとかそんな感じなやつ
このブログはメモとしても使ってるので、たまに自分自身でも見るのですが もう半年以上も更新してないですねってことで、大きなネタもあるのですが それはそれでまとめるのがめんどいので、そんな大したことないけど微妙に重要で しかし普段はあまり使わないのでいざって時に忘れがちな小ネタ。 ソフトマウント NFSはオワコンオワコン言われて久しいですが、実際小規模な環境では便利ですよね。 NFSを運用してて困る場面はマウント先のサーバが落ちた時です。 マウント先が落ちてる時にマウントしてるサーバでdfコマンドを打つとプロンプトが持っていかれます。 Ctrl + C とか Ctrl + D とかやっても抜けられず、わざわざ別窓でログインして dfコマンドをkillしたりしますよね？よね？ そんな経験があるのでNFSやってるサーバーみると NFSとかｗｗｗｗｗｗマウント先が落ちたら固まるしｗｗｗｗｗｗｗｗ と
NFS の性能を最適化する
5. NFS の性能を最適化するクライアントとサーバの両面から、環境を注意深く分析することが、 NFS の性能を最適化する際の最初のステップになります。 前半のセクションでは、一般にクライアントの方で重要になる点を扱います。 後半 (Section 5.3 以降) では、サーバ側の点を議論します。 サーバ・クライアント両側での項目は、 互いに影響を及ぼしあうことがないわけではありませんが、 原因・結果をはっきりさせるためには、この 2 つを分けておくと便利かと思います。 十分なネットワーク容量、高速な NIC、全二重の設定にして衝突を減らす、 スイッチやハブでネットワークスピードを一致させる、 といったようなネットワーク関連の設定を除くと、 クライアントを最適化するために最も重要な設定は、 NFS データ転送のバッファサイズでしょう。 これは mount コマンドの rsize, wsiz
NFS - Wikinote
覚え書き /proc/net/rpc/nfsd の値の意味 rc 0 924175 867013 fh 37 0 0 0 0 io 850646249 4174514959 th 8 19463 524.346 43.560 6.280 0.000 6.496 4.667 5.064 3.768 0.000 43.894 ra 32 158402 0 0 0 0 0 0 0 0 0 1356 net 1791338 0 1790966 224 rpc 1791188 0 0 0 0 proc2 18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 proc3 22 220 1335 6437 277506 266981 0 159768 914862 1364 74 0 0 847 68 523 0 8356 0 5676 9 6 147155 proc4 2 0
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Man page of NFSD
https://docs.oracle.com/cd/E19253-01/819-0381/netmonitor-12/index.html
[NFS] /proc/net/rpc/nfsd file explained