深層学習のための分散キャッシュシステム - Preferred Networks Research & Development
エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加
Kubernetesベースのディープラーニング環境「Nauta」
人工知能（AI）のユースケースはまだごく初期段階にあるといえる。企業はAIによってビジネスモデルを強化するユースケースを依然模索中だ。Gartnerの試算によると、AIの展開は2022年までに約4兆ドル（約444兆5000億円）に達する見込みがあるという。その成長の鍵がディープラーニングだ。 企業におけるディープラーニングはイメージしやすい。だが、複雑でリスクが高く、時間がかかる課題であることは変わらない。ディープラーニングソリューションの連携、検証、最適化が難しいためだ。 こうした課題に応える試みの一つが、「Kubernetes」を使用する分散型ディープラーニング向けの新しいオープンソースプラットフォーム「Nauta」だ。 Nautaとは Nautaは「Xeonスケーラブル・プロセッサー」ベースのシステムでディープラーニングモデルのトレーニング実験を行うための、マルチユーザー分散コンピュ
KubernetesからGPUを使ってTensorflowを動かす - Qiita
Kubernetes 1.8ではα版（実験的）機能としてPodからGPUを使うことが可能になっています。 KubernetesからGPUを使うメリットは、ディープラーニングとコンテナ・オーケストレーションを組み合わせられることです。 ディープラーニングのトレーニングフェーズではGPUを使うことでスピードアップするのが一般的です。 NvidiaもDockerからGPUとCUDAを使うためのNvidia Dockerを提供しており、コンテナ上でGPUを使うのは有効な手段として広まっていっていると感じます。 KubernetesでもGPU使用が要望されており、現在はα版として使用可能になっています。 KubernetesからGPUを使う方法 詳しくは以下で書かれていますが、ホストサーバにインストールしたNvidia CUDAやCudnnのライブラリをPodにマウントして呼び出す仕組みになっていま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
