サイボウズ Live アクセス障害の裏で起こっていたこと - Cybozu Inside Out | サイボウズエンジニアのブログ
どうも！アプリケーション基盤チームの@yokotaso です。 2017/11/13 にサイボウズLiveの長時間にわたる障害が発生しご迷惑をおかけしました。 技術的な調査が一段落し、対応を進めております。 障害にいたった原因と対応のお話をさせていただきます。 簡単なまとめ Java8u152以降で、CPU負荷が高まる現象 Java標準のデシリアライズとSecurity Managerの相性が悪くなった 解決策は現時点では存在しない。サイボウズLiveでは、Java標準のデシリアライズをやめる準備段階 障害発生時の状況 障害発生の数時間前に、運用マシンのメンテナンスを行っておりました。 Javaのマイナーアップデート カーネルのアップデート その他、設定ファイルなどの更新 障害発生時には次のような現象が見られました。 JavaプロセスがCPU高負荷状態 MySQLに大量のロック及びエラーが
Java Flame Graphs
Recent posts: 26 Sep 2021 » The Speed of Time 06 Sep 2021 » ZFS Is Mysteriously Eating My CPU 30 Aug 2021 » Analyzing a High Rate of Paging 27 Aug 2021 » Slack's Secret STDERR Messages 05 Jul 2021 » USENIX LISA2021 Computing Performance: On the Horizon 03 Jul 2021 » How To Add eBPF Observability To Your Product 15 Jun 2021 » USENIX LISA2021 BPF Internals (eBPF) 04 Jun 2021 » An Unbelievable Demo 2
スレッド名にデバッグ情報を埋め込むと激しく捗る件 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回、Java のちょっとしたデバッグテクニックを紹介したいと思います。Java で運用中何かトラブルが発生した場合、スレッドダンプを取得することはしばしばあると思いますが、スレッドダンプだけだとちょっと情報が足りないことがあります。今回はスレッドダンプから得られる情報を増やして、素早く障害対応したりデバッグに役立てる方法を紹介します。 まずはじめに: スレッドダンプの取り方 基本ですが、改めてスレッドダンプの取得の仕方を紹介しておきます。スレッドダンプを取得する対象のプロセス ID を仮に 12345 として、下記のように jstack コマンドを実行すればスレッドダンプが取得できます(※Linux上で操作する想定)。 $ jstack 12345 対象のプロセス ID は ps aux | grep jav
JVM Profiler: An Open Source Tool for Tracing Distributed JVM Applications at Scale
JVM Profiler: An Open Source Tool for Tracing Distributed JVM Applications at Scale Computing frameworks like Apache Spark have been widely adopted to build large-scale data applications. For Uber, data is at the heart of strategic decision-making and product development. To help us better leverage this data, we manage massive deployments of Spark across our global engineering offices. While Spark
JVM の DNS キャッシュを制御する - 平常運転
JVM (Java 仮想マシン) には DNS の名前解決の結果をキャッシュする挙動が備わっている。キャッシュするだけならいいのだけれど、このキャッシュでは DNS の TTL を無視してキャッシュするため、名前解決の結果が変わっても JVM からの接続先が切り替わるまでに（TTL から想定される時間以上に）時間がかかる、あるいは全く切り替わらないということがある。この挙動やその制御について調べたので、その話をする。 （以下の話題では Oracle JDK および OpenJDK を対象にして論じるので、それ以外の JVM 実装でどうなってるかは調べていない。適用できる箇所もあればそうでない箇所もありそう） 背景・解説 これらのデフォルト値は名前解決成功時は セキュリティーマネージャーがインストールされている場合のデフォルト値は -1 (ずっと) で、セキュリティーマネージャーがインストー
JVMアプリケーションを運用する際のメジャーどころチューニングポイントメモ - yoskhdia’s diary
JVMにチューニング項目は多々あれど、プロダクションで運用する際に予めおさえておきたい項目をまとめてみるエントリです。*1 勿論、OSもJVMもデフォルトである程度のパフォーマンスは発揮でき、計測を伴わないチューニングは悪手であることはよく知られています。 しかし、設定しておかないとパフォーマンスにそのまま影響すると分かるものを調べないのは裸で戦場に赴くようなものです。*2 どんな項目をどう変更すれば良いのか知っていることは重要な武器なのです。 なぜ調べるのか 今回、チューニングポイントを調べるにあたって、私のモチベーションはどこにあるのかを考えると、以下の要件を満たしたいということがあげられます。 アプリケーションとして求められる品質水準として動作する → 性能目標 異常時に事象を追うことができる ここでいう品質水準・異常とは、パフォーマンスが明らかに低い、アプリケーションがクラッシュす
Application Pauses When Running JVM Inside Linux Control Groups
Application Pauses When Running JVM Inside Linux Control Groups Linux cgroups-based solutions (e.g., Docker, CoreOS) are increasingly being used to host multiple applications on the same host. We have been using cgroups at LinkedIn to build our own containerization product called LPS (LinkedIn Platform as a Service) and to investigate the impact of resource-limiting policies on application perform
Javaの謎のパフォーマンス劣化現象との戦い - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。アプリケーション基盤チームの横田です。 Javaの謎のパフォーマンス劣化にまつわる調査をしていたのですが、1ヶ月の苦労の末に原因がわかりましたので、報告させていただきます！ 公開後に頂いたはてなブックマークでのご指摘・社内でのタイポ・読みにくいなどの指摘を受けてたので、謹んで修正させいただきます。 修正した内容につきましては、記事の最後を参照してください。 忙しい人のためのまとめ jdk-7u4以降のjdk-7 *1 でJavaのパフォーマンスが劣化する謎の現象 CodeCacheの容量限界に近づくとJITコンパイラを停止してコンパイルしたコードを捨てる機能が原因だった 起動オプションで回避できるので、長期運用するときは -XX:-UseCodeCacheFlushing, -XX:ReservedCodeCacheSize=128m をつける 上のオプションを設定した時に、C
Server::Starter から簡単に Java プロセスを起動できるようになった - tokuhirom's blog
JVM には inetd から起動するときのために､file descriptor 0 をソケットとして開く機能がついている｡Jetty 等もこの機能に対応しているので､簡単に利用できる｡ file descriptor を 0 に固定出来る機能が Server::Starter にあればよかろうということで､以下のような指定で起動できるように実装した｡ $ start_server --port=20000=0 java EchoServer この機能により､Java も LL と同様な形態でアプリケーションを運用することが可能となる｡ Java では昔から ClassLoader 機構を利用することによりホットデプロイを行うことが可能だが､リソースの解放が漏れるなど開発時の難しさが指摘されている｡ Server::Starter 方式では JVM のプロセスごと死ぬので､綺麗な状態で都
Java performance - Wikipedia
This article needs to be updated. The reason given is: Is missing the many improvements in Java 8, 11, 17, 21, .... Please help update this article to reflect recent events or newly available information. (November 2023) In software development, the programming language Java was historically considered slower than the fastest third-generation typed languages such as C and C++.[1] In contrast to th
SmartNews TechNight Vol5 : SmartNews AdServer 解体新書 / ポストモーテム
広告システムを全く知らなかった私が約2ヶ月弱の開発期間で初期バージョンをローンチ、アーキテクチャも日々変更していき、あれから1年が経過しました。 SmartNews Adsは一般的な広告配信サーバとは異なる特徴をいくつか持っています。今回は運用型広告と純広告型の配信サーバのアーキテクチャを中心に、個人の裁量でどのように設計し、何を採択し、どのように変更していったのかを可能な限り公開し、発生した障害（課題）も晒しながらポストモーテムをします。Read less
G1 GC おさらいと #jjug_ccc で発表した話 - unnamed
この記事は Java Advent Calendar 2015 の一日目の記事です。二年連続でトップバッターだ！ 先日の JJUG CCC 2015 Fall で G1 GC について話してきました。 去年の CMS GC と同じく結構遅めの時間帯＆裏番組に伝説の灰色ページ管理人・ひしだま伝道師が発表するなどの豪華な時間帯にも関わらず、165人規模の部屋がいっぱいに埋まるぐらいの盛況でした。聴講頂いた皆様ありがとうございました！ スライドは以下に公開しました。G1 GC の挙動から GC ログの読み方、どういうケースが厄介なのかを紹介しているので是非ご覧ください！ Garbage First Garbage Collection (G1 GC) #jjug_ccc #ccc_cd6 from Yuji Kubota アフターフォロー、またはちょっとした補足 極力、後から参照可能なように資料
[メモ]CMS GCログの見方 - Akira's Tech Notes
package test.example; import javax.jws.WebMethod; import javax.jws.WebParam; import javax.jws.WebService; import javax.jws.soap.SOAPBinding; @WebService @SOAPBinding(style = SOAPBinding.Style.DOCUMENT, use = SOAPBinding.Use.LITERAL, parameterStyle = SOAPBinding.ParameterStyle.WRAPPED) public class HelloWorld { @WebMethod(action = "sayHello") public String sayHello(@WebParam(name = "name" ) String
Azul Systems Launches Open Initiative for Improving Managed Runtimes | Azul Systems: Run, Scale, Simplify Your Java Application Platform
Azul Introduces Code Inventory The Solution That Identifies Unused and Dead Code for Removal in Production, Saving Developer Time and Money
Norikra等JavaアプリケーションのGCをチューニングしたい - Qiita
Javaアプリケーションを運用していると必ず突き当たるのがGCの問題である。JVMの上で生きている限りこの問題を避けて通ることはできない（し、この問題に手をつけたら終わりだとも聞いたことがある）。NorikraはJRubyで記述されているJavaアプリケーションであり、用途からして大量のオブジェクトを作って破棄していることが容易に想像できるので、GCのチューニングは重要であることが考えられる。 GCのログをとりたい チューニングしたいのであれば、まずはともあれロギングである。ログなくしてチューニングすることなどできない。ということでまずはGCのログをとる。 $ norikra start -Xmx4g -Xms4g -Xloggc:/var/log/norikra/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails
JavaでCPUを占有しているスレッドを探せ！ - Qiita
オプション「-Hc」は、スレッド単位でCPUの降順で出力する。 オプション「-n 1」は、1回だけ表示する。 オプション「-p `pgrep java`」は、Javaのプロセス番号を設定する。 「jps」コマンドを利用して、特定しても良い。 以下の様な結果が得られる。 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 5844 tomcat 20 0 2105m 281m 12m R 99.6 15.1 0:35.87 /usr/lib/jvm/java/bin/java 5824 tomcat 20 0 2105m 281m 12m S 0.0 15.1 0:00.03 /usr/lib/jvm/java/bin/java 5828 tomcat 20 0 2105m 281m 12m S 0.0 15.1 0:04.19 /us
Javaのプログラムはどうやって動いているの? GC編
2015.04.24 JJUGナイトセミナ Javaのプログラムはどうやって動いているの? GC編Read less
Javaのプログラムはどうやって動いているの? JVM編
Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So
Controlling GC pauses with the GarbageFirst Collector - Tuning Guidelines for Java Garbage Collection, Part 3 « mgm technology blog
In the previous post I have shown that the GarbageFirst (G1) collector in Java 7 (and also 8ea) does a reasonable job but cannot reach the GC throughput of the “classic” collectors as soon as old generation collections come about. This article focuses on G1’s ability to control the duration of GC pauses. To this end, I refined my benchmark from the previous tests and also ran it with a huge heap s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実行時におけるJVMバイトコード最適化手法
