lustreの検索結果1 - 4 件 / 4件

• あとで読む

  Lustre ファイルシステムのファイル消失について | 日本ヒューレット・パッカード合同会社

  • 400 users
  • www.iimc.kyoto-u.ac.jp
  • テクノロジー
  • 2021/12/28

  • システム障害
  • あとで読む
  • トラブル
  • システム
  • セキュリティ
  • 障害
  • security
  • bash
  • シェルスクリプト
  • HP
• あとで読む

  分散並列ファイルシステムAmazon FSx for Lustreの学び方 | DevelopersIO

  • 7 users
  • dev.classmethod.jp
  • テクノロジー
  • 2020/09/25

  Lustre とは スパコン(HPC)でなくてはならないコンポーネントの一つが並列ファイルシステムです。 並列ファイルシステムがなぜ重要なのかは「一週間でなれる！スパコンプログラマ」を読んで頂くとして、様々なファイルシステムが存在するなかで、スーパーコンピュータ「富岳」含め、採用事例が豊富なのが Lustre です。 AWSでは構築・運用難易度の高いLustreをマネージドサービス(Amazon FSx for Lustre)として提供しており ストレージサイズ ストレージタイプ(SSD/HDD) IO性能 スクラッチ・永続 を指定するだけで簡単に利用できます。 今回は、Lustreの知識が0の状態からAmazon FSx for Lustreに入門するまでの道筋をまとめてみました。 ステップ1:AWSのストレージサービスを30分で俯瞰 AWS には様々なストレージサービスが存在します。

  
• あとで読む

  AWSが拓いたLustreファイルシステム新時代 -1- | HPCシステムズ Tech Blog

  • 6 users
  • www.hpc.co.jp
  • テクノロジー
  • 2020/02/24

  はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA

  • Lustre
  • ネットワーク
  • Linux
  • あとで読む

  
• あとで読む

  Ubuntu 18 DLAMI、P3dn インスタンスの EFA、Amazon FSx for Lustre を使用した大規模なマルチ GPU 分散深層学習トレーニング | Amazon Web Services

  • 3 users
  • aws.amazon.com
  • テクノロジー
  • 2020/06/08

  BERT トレーニングのための AWS 上の HPC について BERT 手順は、Ubuntu18 DLAMI、P3dn インスタンスの EFA、および Ubuntu18 向け FSx for Luster を含む AWS HPC アーキテクチャサービスで実行されます。 AWS Deep Learning AMI (Ubuntu 18.04) この DLAMI は、Python 2 と Python 3 の両方で Anaconda プラットフォームを使用して、フレームワークを簡単に切り替えられます。AWS Deep Learning AMI は、Nvidia CUDA 9、9.2、10、10.1、および Apache MXNet、PyTorch、TensorFlow を含むいくつもの深層学習フレームワークで事前にビルドされています。この記事では、次の DLAMI 機能を使用します。 PyT

  • aws