JVM Anatomy Quark #2: Transparent Huge Pages
"JVM Anatomy Quarks" is the on-going mini-post series, where every post is describing some elementary piece of knowledge about JVM. The name underlines the fact that the single post cannot be taken in isolation, and most pieces described here are going to readily interact with each other. The post should take about 5-10 minutes to read. As such, it goes deep for only a single topic, a single test,
革命の日々！ transparent hugepage considered harmful
タイトルは釣りです。はい。 現状、ありとあらゆるDBがTHPをdisableするよう推奨している。これはあんまり良い状況じゃないのでTHPを disabled by default に変えようという提案。 Ted Ts'o はデフォルトがenabledだから、パフォーマンスが良くなるケースが気づきにくいだけだろうと主張。まあ、そうだろうね。KVM hostとかだと anon ばっかりつかうし、guest OSでメモリ制限あるから、hostのreclaimは走らないしで、悪いケースになりにくそう。 Vlastimil Babka はそもそも page faultの延長で、コンパクション始めちゃうのがよくないので、デフォルトは今より less aggressiveであるべきという意見のようだ。 Googlerが今のままがいいと主張していて、エンタープライズ屋さんが変えたいという陣営なのかな。
Riak, Elasticsearch and numad walk into a Red Hat
What starts like a joke is really a serious post about large distributed systems. This is what we run at meltwater - and while there is a lot of fun designing and administering these systems, we run into odd problems from time to time. In this case: some well-meant Red Hat memory optimisations interfering with Riak performance. There is a lot of talk around “Big Data” in the industry - and here at
How to Configure x86 Memory Performance for Large Databases Using Linux Huge Pages
How to Configure x86 Memory Performance for Large Databases Using Linux HugePages Published December 2013 ,by Edward Whalen This article shows how to improve x86 memory performance for large databases by using Linux HugePages. About Memory Performance Performance tuning of large database systems can be a challenge. Depending on the operating system (OS) and hardware, there might be performance iss
第6回JVMソースコードリーディングの会(OpenJDK6) - NAKAMURA Minoru's Diary
[Book] トーマス・ヘイガーの「大気を変える錬金術――ハーバー、ボッシュと化学の世紀」 トーマス・ヘイガー著「大気を変える錬金術――ハーバー、ボッシュと化学の世紀」を読了した。 この本は中西 準子先生の書評で知ったのだがこれは評判通り凄い本だった。 内容は空気からパンを作る技術、つまりフリッツ・ハーバーとカール・ボッシュが完成させた窒素固定法(ハーバー・ボッシュ法)に関する科学技術史の解説だ。 一応理系なのでハーバー・ボッシュ法は知っていけど、窒素固定法が発明される前の前史、ハーバーとボッシュが発明以降に辿る数奇な運命はほとんど知らなかった。 ヨーロッパは火薬の原材料や農業生産性を高めるための肥料として硝石を必要とする。 人間の尿を集めることである程度硝石を集めることが出来たが、それでは足りない。 自然の中にある硝石の鉱脈を求めて世界中が探索される。 やがてペルーのグアノ(海鳥の糞由来
Structured Data | Linux 6 Transparent Huge Pages and Hadoop Workloads
This past week I spent some time setting up and running various Hadoop workloads on my CDH cluster. After some Hadoop jobs had been running for several minutes, I noticed something quite alarming – the system CPU percentages where extremely high. Platform Details This cluster is comprised of 2s8c16t Xeon L5630 nodes with 96 GB of RAM running CentOS Linux 6.2 with java 1.6.0_30. The details of thos
2011年3月16日 “夢の高速パッチ”が取り込まれたLinuxカーネル2.6.38が登場 | gihyo.jp
Linus Torvalds氏は3月14日（米国時間）、Linuxカーネル2.6.38のリリースを発表した。最大の注目ポイントは、Linus氏も賞賛した約200行の"夢の高速パッチ"による大幅なパフォーマンス向上。その他、仮想ファイルシステム（VFS）のスケーラビリティ向上、btrfsのサポート強化、サイズの大きいページを透過的に扱えるTransparent Huge Pages（THP）など、パフォーマンス向上を中心とする多くの機能強化が図られている。 今回取り込まれた高速パッチはスケジューラに関するもの。同じセッションIDをもつ複数のプロセスを1つのスケジューリングエンティティとみなし、プロセスのグループ化を自動で行う。たとえばCPUリソースを必要とする6つのプロセスがあり、最初の4つが同じセッションIDをもつとする。プロセスグルーピングを自動化しない場合は、これまで通り、6つのプ
Transparent Huge Page - 研究日誌。
Transparent Huge Page という hugepage が Linux 2.6.37 から使用することができます。 とはいっても、Transparent Huge Page は default で always 設定(すべて hugepage 上に確保)になっているので、CentOS6, Fedora15 あたりの OS を使用している場合、知らず知らずのうちにその恩恵を授かっていると思われます。 本来 Linux は 4KB のページと呼ばれる block でメモリを扱うことになっていますが、この場合 virtual address から 4 段階の変換テーブルを参照して目的の物理メモリにアクセスすることができます。この 4KB ごとの TLB miss を軽減するには、大きなサイズのページ hugepage を採用することが有効です。2MB の hugepage を採用す
Transparent HugepageTransparent Hugepage SupportSupport Red Hat Inc. Andrea Arcangeli aarcange at redhat.com KVM Forum 2010 Boston 9 Aug 2010 Copyright © 2010 Red Hat Inc. Benefit of hugepagesBenefit of hugepages ➢ Enlarge TLB size ➢ TLB is separate
Transparent HugepageTransparent Hugepage SupportSupport Red Hat Inc. Andrea Arcangeli aarcange at redhat.com KVM Forum 2010 Boston 9 Aug 2010 Copyright © 2010 Red Hat Inc. Benefit of hugepagesBenefit of hugepages ➢ Enlarge TLB size ➢ TLB is separate for 4k and 2m pages ➢ Speed up TLB miss ➢ Need 3 accesses to memory instead of 4 to refill the TLB ➢ Faster to allocate ➢ Initial page fault huge spe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/linux/post/entry/performance_issues_with_transparent_huge
9.2. Large Page Memory JBoss Enterprise Application Platform 5 | Red Hat Customer Portal