ネームノードのヒープメモリのサイジング
このブログは「Sizing NameNode Heap Memory」ドキュメントの翻訳記事です。 各ワークロードには、ユニークにバイトを配分するプロファイルがあります。一部のワークロードではヒープメモリとガベージコレクションにデフォルトのJVMの設定を使用することができますが、他のワークロードではチューニングが必要です。このトピックでは、動的なヒープの設定によってボトルネックが発生した場合のNameNodeのJVMのサイジングに関する指針を提供します。 すべてのHadoopのプロセスは Java Virtual Machine（JVM）上で実行されます。JVMの数はデプロイモードによって異なります。 ローカル （またはスタンドアロン）モード − デーモンは存在せず、すべてが単一のJVM上で実行されます。疑似分散モード −（NameNodeデーモンなどの）各デーモンは、単一のホスト上の独自
「人工知能のRed Hat」目指す、JVMで動く商用の深層学習フレームワーク「DL4J」
人工知能（AI）やビッグデータ分析などで大きな注目を集めるディープラーニング（深層学習）。「Caffe」や「Torch」、「Chainer」など、同分野の研究者らが開発したオープンソースソフト（OSS）のフレームワークが既に利用可能となっているが（日経エレクトロニクス関連記事）、ここに一石を投じるのが米Skymind社だ。 既存のフレームワークの多くがPythonベースであるのに対し、Skymind社が手掛けるディープラーニングフレームワーク「DL4J（Deeplearning4j）」は、Java仮想マシン（JVM）上で動作するのが特徴だ。エンタープライズ向けのアプリケーションサーバーで動作させることができ、企業が持つ既存の情報システムと組み合わせて運用しやすい。 Skymind社創業者のAdam Gibson氏は「研究開発用途ではなく、エンタープライズで使える商用レベルのディープラーニン
Javaのプログラムはどうやって動いているの? JVM編
Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger
AWS SDK for Java 2.x
ibmURL(変更不可)
JDK9 新機能 (日本語＆ショートバージョン) #jjug
