Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし
Google Perftoolsを導入する - FPGA開発日記
ISSのボトルネックになっている部分を調査すべく、Google Perftools を導入した。 gperftools - Fast, multi-threaded malloc() and nifty performance analysis tools - Google Project Hosting どうやら、gperftoolsを使うと、 メモリリークの検出 ヒープの使用量 CPUの使用量 ができるらしい。とりあえずは、CPUの使用量と、ヒープの使用量をチェックしてみようか。 CMakeLists.txt への埋め込み まずは、CMakeLists.txtから制御できるように変更しよう。USE_PERFマクロを定義して、gperftoolsを使うかどうかを制御する。 github.com +option (USE_PERF "Use Google Profiler" OFF) +
False sharing - Wikipedia
In computer science, false sharing is a performance-degrading usage pattern that can arise in systems with distributed, coherent caches at the size of the smallest resource block managed by the caching mechanism. When a system participant attempts to periodically access data that is not being altered by another party, but that data shares a cache block with data that is being altered, the caching
Why does my App's Memory Use Grow Over Time?
Subscribe to my Newsletter 😻 🤠 Join thousands of developers who get new code, writing, and programming links from me delivered to their inboxes. Keep Reading 🚀 A Daft proc-macro trick: How to Emit Partial-Code + Errors Update (2025/04/02): The change I suggested below was merged in PR #64. It’s pretty neat I went from knowing nothing about this project to contributing to it in the span of a sin
Go のスライスでハマッたところ - Block Rockin’ Codes
intro 先日 GoのSliceもヤバイ - Qiita こんな記事をみて、別の挙動だけどスライスの内部を理解しきれていなかった頃のことを思い出した。 結構前に謎に思っていた挙動についての話。 以前この挙動を解説しようと思って、前提として書いたスライスの内部構造の記事が、 Go のスライスの内部実装 だったのですが、そっちを書き終わって満足してしまい、本題を忘れていました。 この挙動は、先のブログで説明した内容がわかっていないと、なかなか理解できないかも。わかってしまえば簡単ですが。 やりたいのは、関数側でスライスを操作したときの呼び出し側での結果。 順を追ってみてみます。 配列を関数内で変更する 関数は値渡しで、配列はそれ自体が値なので、まるっとコピーされます。 以下の例は、戻り値で返さないと、呼出側は変化しません。 package main import ( "log" ) func
Go のスライスの内部実装 - Block Rockin’ Codes
History 14/05/09: Merge2 を修正しました。http://twitter.com/jbking/status/464659353945911297 Intro Go のスライスは、いわゆる LL 系の言語が持つ可変長配列の実装と似ています。 よって LL のような手軽な扱いをすることもできますが、その内部実装を知ることでより効率の良いメモリハンドリングができ、パフォーマンスを改善や、メモリーリークの防止などに繋がる可能性があります。 この辺は SWrap というライブラリを作りながら勉強したので、今回は、この Go のスライスの内部実装を解説します。 Go の配列 スライスを知るためには、まず配列について知っておく必要があります。 Go の配列は固定長のため、以下のように長さを指定して宣言します。 var arr [4]int func main() { arr =
MySQLのメモリ構成まとめ - おもしろwebサービス開発日記
一度マインドマップとして紙にまとめたけど、結局なかなか見返さないのでブログに書いて復習する試み。 インスタンス全体で共有するメモリ領域 クエリキャッシュ SELECT文の実行結果をキャッシュする query_cache_sizeで容量を指定 テーブルが更新されるとキャッシュは無効になる query_cache_imit を超えるデータを返すSELECT文はテーブルキャッシュの対象外となる SHOW STATUS LIKE 'Qcache%'; で統計情報を参照できる 一部のSQLをクエリキャッシュの対象外にしたいとき SELECT SQL_NO_CACHE ... 一部のSQLをクエリキャッシュの対象にしたいときは query_cache_type = 2 SELECT SQL_CACHE ... スレッドキャッシュ 接続終了後のサーバスレッドを再利用するためのキャッシュ。スレッド生成のオ
Haskell、OCaml、RacketでGCのレイテンシを測る | POSTD
James FisherはGHCのランタイムシステムが彼らのHaskellのプログラム上でレイテンシに悪影響を及ぼしたケースを、ブログに投稿しています。 低レイテンシ、大きなワーキングセット、そしてGHCのガベージコレクタ：3つのうち2つを選べ この記事では、その問題（基本的に、レイテンシはコピー時間の影響を受ける）を示す非常にシンプルな合成ベンチマークを提案していて、さらに「50ミリ秒のレイテンシは過剰」と言っています。それで、他のGCがどのようにこの問題を処理しているかを見るため、OCamlとRacketで合成ベンチマークを再現したら面白いだろうと思いました。 細かい話は抜きにすると、要点は次のとおりです。OCamlのGCは古い世代にある大きなオブジェクトに関しては問題はありません。コレクションをコピーするのではなくマーク & スイープで処理するためで、このベンチマークではワーストケー
Profiler week 5: Mac support, experiments profiling memory allocations
Hello! Week 5 of profiler work is over. as a reminder – what I’ve been doing is building a new sampling CPU profiler for Ruby! It’s called rbspy and it’s at https://github.com/rbspy/rbspy. In just-this-second news – someone tweeted at me just now that they used rbspy and it helped them find an unexpected hot spot in their program, which made me super happy!! The main 2 exciting things that happene
JVMアプリケーションを運用する際のメジャーどころチューニングポイントメモ - yoskhdia’s diary
JVMにチューニング項目は多々あれど、プロダクションで運用する際に予めおさえておきたい項目をまとめてみるエントリです。*1 勿論、OSもJVMもデフォルトである程度のパフォーマンスは発揮でき、計測を伴わないチューニングは悪手であることはよく知られています。 しかし、設定しておかないとパフォーマンスにそのまま影響すると分かるものを調べないのは裸で戦場に赴くようなものです。*2 どんな項目をどう変更すれば良いのか知っていることは重要な武器なのです。 なぜ調べるのか 今回、チューニングポイントを調べるにあたって、私のモチベーションはどこにあるのかを考えると、以下の要件を満たしたいということがあげられます。 アプリケーションとして求められる品質水準として動作する → 性能目標 異常時に事象を追うことができる ここでいう品質水準・異常とは、パフォーマンスが明らかに低い、アプリケーションがクラッシュす
Tiptop
Hardware performance monitoring counters have recently received a lot of attention. They have been used by diverse communities to understand and improve the quality of computing systems: for example, architects use them to extract application characteristics and propose new hardware mechanisms; compiler writers study how generated code behaves on particular hardware; software developers identify c
CPU Utilization is Wrong
Recent posts: 01 May 2025 » Doom GPU Flame Graphs 29 Oct 2024 » AI Flame Graphs 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【AWS Lambdaの小ネタ】メモリ割当量を増やすとパフォーマンス、コストがどう変わるか検証してみた
Post by @y-yagi
Devon C. Estes
http://rodrigodumont.com/2017/11/10/profile-go-micro-services-in-kubernetes-with-pprof/
Speed and memory use
Improve your Ruby application's memory usage and performance with jemalloc
Tail Call Optimization in Elixir & Erlang – not as efficient and important as you probably think
Xamarin は iOS 8 に完全対応 : XLsoft エクセルソフト