GCP を用いた高性能かつスケーラブルなオンライン予測システムの構築方法
Yaboo Oyabu, Machine Learning Specialist, Google Cloud Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA 概要このチュートリアルでは GCP 上で NVIDIA Tesla T4 と TensorRT Inference Server (以降 TRTIS) を用いて高性能なオンライン予測システムを構築する手順と、そのパフォーマンス計測・チューニング方法を説明します。このチュートリアルを完了すると、TensorRT に最適化された機械学習モデルが Cloud Storage に格納されます。また、 オンライン予測と負荷テストを実施するための GKE クラスタが作成されます。 本記事は Google Cloud Next 2019 Tokyo におけるセッション『GCP
Kris Jack: Tuning Mahout's Item-based Recommender
Saturday, 28 April 2012 Tuning Mahout's Item-based Recommender Introduction Mendeley Suggest (Figure 1) generates personalised research article recommendations for researchers. It's a pretty awesome feature, that I like to think of as a personalised research advisor who's at your beck and call 24/7. It's powered by Mahout, a machine learning and data mining library, that's designed for large sca
Data Center
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Cassandra Performance Tuning and Monitoring | Jonathan Hui
Performance Tuning for Cassandra Write Operations Optimize Cassandra for Write Operations Cassandra write path is very simple and require little tunning The biggest performance gain for write is to put commit log in a separate disk drive commit log uses sequential write and most hard drive will meet the throughput requirement However, if SSTables share the same drive with commit log I/O contention
MacOSにRamDiskを作成して諸々高速化してみました
SSD化するにはちょっと高いけど、メモリーを8GBにはしてあるからコレを有効活用したい！と思ってる人は私を含めてたくさんいるはず！ ということで、物理メモリーにRamDIskを作成して、アプリ諸々の起動を早くする方法です。 今回はGoogle chrome for Macを高速化してみます。 MacOS10.6でRamDiskを作るツールはいくつかありますが、RamDiskをHDDにバックアップして起動時に自動復元できるという点でEsperance DVを利用します。 日本語化ファイルもありますのでEsperanceDV232_JP.dmgもダウンロードします。 esperance_dv.zipを解凍してEsperanceDV.prefPaneをダブルクリックしてインストールします。 Macintosh HD →Library→PreferencePanes→EsperanceDV.pre
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
MemtableThresholds_JP - Cassandra Wiki
このダイヤルに触るべからず ここで解説する設定は、定量化可能な性能問題に直面した時にのみ変更すべきです。個別のユースケースや負荷により、それぞれの設定パラメータがクラスタに与える影響は様々です。とはいえ、デフォルト設定は注意深く、かつ保守的に選択されています。 JVMヒープサイズ デフォルトではCassandraの起動スクリプトはJVMの最大ヒープサイズを1GBに設定しています。これを増やすことを検討してください:但し徐々にです！ Cassandraや他のプロセスが過剰にメモリを使用すると、OSのファイルバッファやキャッシュが縮小します。 これらはCassandraの性能上、内部データ構造と同じくらい重要です。 JVMの最大ヒープを過大に設定することは過小に設定するよりもリスクが高まります。過小な設定はJMXで容易に診断できますが、過大な設定が問題の原因であることを特定するのは困難だからで
Cassandra運用TIPS（決戦前夜編） - 夜の Discovery
Cassandraの運用前に設定しておきたいTIPSです。 cassandra.in.shのXms, Xmxを設定する データ量にもよりますが、基本的には多ければ多いほど良いと思います。 また、（Cassandra専用サーバーであれば）XmsはXmxと同じ値にしておくのが良いと思います。 bin/cassandra.in.sh JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx16G \ （省略） cassandra.in.shにulimitを設定する 負荷が高くなった際に too many open files エラーが出る場合があるため、JVM_OPTS の前あたりに、ulimit を追加します。（ulimitはデフォルト1024） bin/cassandra.in.sh ulimit -n 32768 JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx
Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
blog.katsuma.tv
HiveでのSQLことHQLの小ネタ。HQLでは基本的にSQLはほぼ完璧に利用できますが、たまにハマりポイントもあります。その１つが並び替えのORDER BY。 ORDER BYとSORT BY HQLの文法的にORDER BYは有効ですが、実際は並び替えは行われません。（無視されているような感じ）Hiveでは代わりに「SORT BY [column]」を利用することになります。 ただし、ここでも罠があって、SORT BYは結果がreducerの数に依存します。(各reducerがsort処理をしたものがマージされるものになるので、全体としてはおかしな結果を得ることになります) 通常、reducerは複数走っているはずなので、結局SORT BYを利用してもORDER BYと同等の結果を得ることができません。 では、どうするか？と言うと明示的にreducerの数を1に指定してからSORT B
Hiveクエリチューニングメモ - 科学と非科学の迷宮
Hadoop本2版を買ったその一週間後にDeals of the day で半額セールやられて死にたくなったので腹いせに書く はじめに ここに書いてあるのは全部参考リンク・文献からひっぱってきただけで、ほとんど全部検証してない。間違いがあればなるべく早めに更新するよう努力はするが、鵜呑みにして何が起きても自己責任で。 Hive のクエリチューニングに関するメモ書きである。以下のことは「書いていない」 Hadoop自体のチューニング Hive のクエリチューニング以外の話 例えば、圧縮ファイルを Hive 上で扱うにはどうするかとか JOIN 一番左のテーブルに最も大きなテーブルを持ってくる 一番左のテーブルがMRでいう入力データとして流れる。インナーテーブルのデータはメモリに保持される。 同一 JOIN キー 通常は 1 JOIN = 1 MR ジョブだが、同一の JOIN キーを使ってい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux 素人でも出来るカーネルチューニングで性能UP｜ギブ＆テイクSE｜note
http://blog.goo.ne.jp/piselepce/e/1b32394951bb93a38cd1d854f060c79f
https://groups.google.com/forum/#!msg/hadoop-jp/6hRIoqzGDz4/IPEAx9K3crsJ
Tips and Guidelines - Cloudera Support
Optimizing HBase MapReduce scans (for Hive)
PerformanceTuning_JP - Cassandra Wiki
Cassandra Summit 2010 Performance Tuning
Getting started using CQL | DataStax Cassandra 1.2 Documentation
このページを見るには、ログインまたは登録してください