NVIDIA GPUなどの最新技術を採用した プライベート・スーパーコンピュータ MN-2 を自社構築し、7月に稼働 - 株式会社Preferred Networks
MN-1、MN-1ｂ、MN-2合計で約200※1ペタフロップス※2の計算資源を保有 株式会社 Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、プライベート・スーパーコンピュータ MN-2（エム・エヌ・ツー）を自社構築し、2019年7月に稼働します。 MN-2は、NVIDIA(R) V100 Tensor コア GPUを搭載した最新のマルチノード型GPGPU※3計算基盤で、すでにPFNが保有するプライベート・スーパーコンピュータMN-1（2017年9月稼働）、MN-1ｂ（2018年7月稼働）と合算して、PFNは合計約200 ペタフロップスの計算資源を保有することになります。またMN-2の構築に並行して、PFNが独自開発するディープラーニング・プロセッサー MN-Core(TM) によるプライベート・スーパーコン
アドテクスタジオにおける GPU Kubernetes as a Service | CyberAgent Developers Blog
こんにちは。 アドテクスタジオ Central Infrastructure Agency の青山真也 (@amsy810) です。 アドテクスタジオでは「AI Lab」と呼ばれる、機械学習、計量経済学、コンピュータビジョン、自然言語処理、HAI/HRIなどを専門とする研究者がアドテクに関する技術の研究・開発を行う組織があります。 https://www.cyberagent.co.jp/techinfo/labo/ai/ GPU を用いた研究も積極的に進めており、TensorFlow、Keras、PyTorch などを利用して GPU を用いた画像解析・クリエイティブの自動生成・大規模テキストデータ処理などを行っています。 GPU では画像との相性がよく、特に画像解析やクリエイティブ周りでの活用は顕著な性能差が現れます。 他にも大規模テキストデータ処理の場合には、Web 上のメディアのテ
GPUの温度と性能低下 - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 先日、GeForce GTX 1080 Tiを2枚積んだマシンを計算サーバとして追加導入しました。 新しいマシンで意気揚々と学習を回していたのですが、時間がたつにつれて学習速度が低下していったり、マルチGPU化しても性能が伸びなかったりかえって遅くなったりしてしまっていました。 このような症状を聞くと熱問題だろうと気づく方も多いかと思いますが、せっかくなので冷却が不十分なGPUがどういった挙動を示すか少し実験してみました。 実験内容 アプリケーション・計測方法 GPUに負荷をかけるためのアプリケーションとして、ひたすらcuBLASのSGEMM (n=m=k=8192) を実行し続けるプログラムを用意しました。 また、各種メトリクスの取得にはNVMLを使用し、およそ10-20ms程度ごと
チュートリアル：マルチGPUを用いた学習の実行 – Docs - Neural Network Console
Neural Network Consoleでは複数のGPUを用いた学習により、学習に要する時間を大幅に短縮することができます。マルチGPUを用いた学習時に高い精度を実現するためには、シングルGPUでの学習時との動作の違いを理解しておく必要があります。 ここでは、シングルGPU学習とマルチGPU学習の違いと、シングルGPU時とほぼ同じ学習結果を実現するために必要な設定について解説します。 1 シングルGPU学習とマルチGPU学習の違い Neural Network ConsoleでシングルGPU（もしくはCPU）を用い学習を実行した場合の動作は以下の通りです。 1epochの間にデータセットのデータ数÷Batch Size回以下の動作を行う CONFIGタブ、Global ConfigのBatch Sizeで指定した数のデータをデータセットから取得 取得したデータを用いてニューラルネットワ
GPUでirq/125-nvidiaのせいで学習出来ない
最近ubuntuマシンでkerasがうまく動かない。 その状態でnvidia-smiすると刺さって戻って来なくなり、Ctrl+Cも効かない。 topで見ると「irq/125-nvidia」で1コアが100%で回っている。カーネルスレッドの模様。 再起動も完了せず、電源を抜くしかない。 発生タイミングは不定で、起動直後1回目の実行からNGのときもあれば、数回実行すると発生する場合もあり。 ググっても同じような症状の人は見当たらず、ドライバやCUDAを古いものに戻したり、OSを入れなおしたり等々して調査したが原因不明…。 ただ回避方法はわかって、「nvidia-smi -pm 1」でPersistence Modeにすると発生しなくなる模様。 学習前後で状態が変わるときにうまくいかないのか？ とりあえずcrontab -eに以下書いて対処。 @reboot /bin/sleep 20; /us
google/jax: GPU- and TPU-backed NumPy with differentiation and JIT compilation.
JAX is a Python library for accelerator-oriented array computation and program transformation, designed for high-performance numerical computing and large-scale machine learning. With its updated version of Autograd, JAX can automatically differentiate native Python and NumPy functions. It can differentiate through loops, branches, recursion, and closures, and it can take derivatives of derivative
NTT Com、GPUサーバー向け超高発熱対応DC環境の提供を開始
NTT Com、GPUサーバー向けに30kW/ラックのデータセンター環境を提供 ～高信頼空調システムと充実したネットワーク環境を完備～ NTTコミュニケーションズ（以下、NTT Com）は2018年10月16日、「東京第8データセンター」において、最大発熱量を30kW／ラックに対応したデータセンター（DC）環境を用意した。これにより、GPU搭載サーバーをラックにフル搭載できるとしている。同DCの一部で2018年度第4四半期に提供を開始し、需要に応じて順次拡大するという。 NTT Comでは、AIをはじめ膨大な計算処理を必要とする技術のニーズが急速に高まり、これらを扱うGPUサーバーなどの運用が可能なDCの整備が急務になっている。しかし、一般的なDCのラックは通常のサーバーの発熱量である4～10kW/ラック程度を想定した設計となっており、例えば1台で3kW程度の高発熱型のGPUサーバーは、1
GPU profiling for computer vision applications
NVIDIA provides several tools for profiling GPU performance of computer vision applications, including nvprof, nvvp, and the next-generation Nsight Compute and Nsight Systems. Nvprof allows command-line profiling with different modes, while nvvp provides a GUI interface for visualizing profiling results. These tools help analyze kernel performance, identify bottlenecks like compute or memory limit
GPU support | TensorFlow
Deploy ML on mobile, microcontrollers and other edge devices
horovod/README.md at master · horovod/horovod · GitHub
Horovod Horovod is a distributed training framework for TensorFlow, Keras, PyTorch, and MXNet. The goal of Horovod is to make distributed Deep Learning fast and easy to use. Horovod is hosted by the Linux Foundation Deep Learning (LF DL). If you are a company that is deeply committed to using open source technologies in artificial intelligence, machine and deep learning, and wanting to support the
複数の GPU に対する深層学習トレーニングをスケーリングするためのハイパーパラメーターの調整の重要性 | Amazon Web Services
Amazon Web Services ブログ 複数の GPU に対する深層学習トレーニングをスケーリングするためのハイパーパラメーターの調整の重要性 複数の GPU による並列プロセスは、深層モデルのトレーニングのスケーリングを行う上で重要なステップです。トレーニングを繰り返すたびに、一般的に、ミニバッチと呼ばれるデータセットの小さなサブセットがプロセスされます。単一の GPU が使用可能の場合、それぞれのトレーニングの繰り返しにおけるミニバッチの処理は、この GPU により取り扱われます。複数の GPU でトレーニングするとき、ミニバッチはプロセスの負荷を均等に分散するために使用可能な GPU 全体に分割されます。各 GPU を完全に使用するためには、各追加 GPU でミニバッチのサイズを直線的に増大させる必要があります。ミニバッチのサイズは、トレーニング速度に影響を与えるだけではなく
一定時間利用されていないEC2インスタンスを自動でstopする
プライベートのOSS開発向けに、一定時間利用されていないAWSのEC2インスタンスを自動でstopする仕組みを作った。プライベート用なのでちょっと雑かも。 最初は【AWS】CloudWatch入門／使っていないEC2を自動シャットダウンしよう のように CloudWatch で CPU 使用率を監視すれば良いかと思ったが、やってみると vim を開いて編集しているだけの時間が案外長く、利用中なのにstopされてしまうことが多かったのでもう少し工夫した。 要件 一定時間利用されていないAWSのGPUインスタンスを自動でstopしたい ただし、vim を開いて編集しているだけのような CPU を喰わない時間帯も利用中なので stop したくない ただし、GPUを使って deep learning の学習を走らせているような時間帯も利用中なので stop したくない tmux や screen
10分で理解する Prometheus - Qiita
Prometheus とは SoundCloud が中心になって開発しているプル型のリソース監視ソフトウェアです アーキテクチャを見ると複雑そうに見えますが、Prometheus はセットアップがめちゃくちゃ簡単です 全体を理解する Prometheus でできること 監視の機能としてはあんまり目新しいものはないですが、監視対象が動的に変更されるようなスケーラブルな環境のリソース監視を意識した設計になっています 監視対象のサーバーから情報を取得 & 保管 保管済みデータに対して集計クエリを発行できる しきい値を超えた場合のアラート (メール、Slack、がんばればTwilioで電話) 柔軟なアラート設定 (同じエラーはまとめて通知とかの設定ができる) 登場人物 Prometheus で監視の仕組みを入れるためには、以下の2つだけ知っていればとりあえず使えます 名称 説明
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【後藤弘茂のWeekly海外ニュース】 シェーダーの導入に匹敵する大変革となるNVIDIA Turingのハイブリッドレンダリング
https://images.nvidia.com/content/pdf/tesla/tesla-technical-overview-gpu-ready-data-center-r10-offset-jp.pdf
GitHub - Syllo/nvtop: NVIDIA GPUs htop like monitoring tool
GitHub - wookayin/gpustat: 📊 A simple command-line utility for querying and monitoring GPU status
NVML API Reference Guide :: GPU Deployment and Management Documentation
【A-1】AIを支えるGPUコンピューティングの今
Ganglia's GPU Nvidia module: do we need to patch the ganglia-webfrontend?