大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub
こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員が利用しています。そのため日々多くのフィードバックをもらえます。そのフィードバックの1つで、「経費精算の一覧を開くのが遅い」という報告をもらいました。幸い表示件数を指定できるので調整すれば遅くはならないのですが、一覧性が下がってしまうため有用な解決策ではありません。 そこでワークフローを開発しているチームで、このパフォーマンスイシューの調査を始めました。 調査する まず事前調査として Datadog*1 で一覧画面を表示するリクエストの処理を確認しました。 一覧
Datadog Profilerで継続的なProfilingを実施できるようにした話 - unless’s blog
おまえだれ? 株式会社Kyash でサーバサイドエンジニアをしている @uncke__ko です Fundsチームに所属していて主にお金の入出金部分を担当しています これは何? Kyashではシステムの監視やモニタリングにDatadogを使用しています www.datadoghq.com Datadogにある Continuous Profilerという機能を使い、継続的にProfilingできる環境を整えたのでその話になります docs.datadoghq.com Profilerとは プロファイラとはアプリケーションの性能を解析するためのツールです ソフトウェア開発をしていると下記のようなことが度々起こった経験が1度はあると思います OOMが発動するようになる latencyが遅くなる アプリケーションの動作が徐々に重くなる Profilerがあると、このようなときにアプリケーションの
Luke Stackwalker home page
Introduction A screenshot of Luke Stackwalker displaying profiling results. Luke Stackwalker is a C/C++ code profiler that runs on Windows. It uses call stack sampling to collect profile data, so no code instrumentation is required. Luke Stackwalker can sample the call stack at an user-specified depth to not only provide a display of which functions in the program under test consume most CPU time,
The JavaScript Self-Profiling API
November 1, 2020 It's historically been difficult for web developers to understand how the JavaScript in their apps performs in a wide range of cirumstances on real user devices. They've had to instrument code with poorly performing profiling hooks that could slow down page execution, without having the ability to collect stack samples efficiently. This is where the proposed native JavaScript self
Bash: .bashrcと.bash_profileの違いを今度こそ理解する｜TechRacho by BPS株式会社
こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく一般的になるようにまとめてみました。 シェルスクリプト（.bashrcや.bash_profileなども含む）はあまりに自由に書けてしまい、LinuxディストリビューションやmacOSによって作法がまちまちだったりするので、外してはいけないポイントがどこかを知りたかったのでした。 対象はbashとsh（Bourne Shell）に限定します。また、デスクトップGUIの設定ファイルについては最小限にとどめます。 bashのmanページ 元記
Python: pandas-profiling でデータセットの概要を確認する - CUBE SUGAR CONTAINER
今回は pandas-profiling というパッケージを使ってみる。 このパッケージを使うと pandas の DataFrame に含まれる各次元の基本的な統計量や相関係数などを一度に確認できる。 最初にデータセットのサマリーを確認できると、その後の EDA (Exploratory Data Analysis: 探索的データ分析) の取っ掛かりにしやすいと思う。 使った環境は次の通り。 $ sw_vers ProductName: macOS ProductVersion: 12.4 BuildVersion: 21F79 $ python -V Python 3.9.13 $ pip3 list | grep pandas-profiling pandas-profiling 3.2.0 下準備 まずは必要なパッケージをインストールしておく。 $ pip install pand
Peak memory usage of a linux/unix process
2024 Developer survey is here and we would like to hear from you! Take the 2024 Developer Survey
あなたの知らない time(1) の世界 - kuenishi's blog
自分が書いたプログラムのメモリ使用量を測定したいことがある。プログラムがOOM Killerによってお亡くなりになった場合や、ページフォルトをなくして高速化したい場合などだ。定常的に起動するサーバーのプログラムなら、sarや meminfo など（今なら Datadog とかだろうか）を使ってじーっと見つめるわけだ。もっとモダンにやるなら perf や DTrace を使ってもよいかもしれない。しかしこれらのツールは基本的にプロセスIDを渡してサンプリングして外から覗く方法だ。 わたしのユースケースはデーモンプロセスではなく、 main から入って必要な計算をして、それが終わったら main を抜けるバッチジョブ（単にコンソールから実行して終わるまで待つ、いわゆる "Hello world!" 的なやつ）だ。これだと、プログラムが起動して終わるまでそこそこの時間で終わってしまって、外部プロ
Jenkinsでsshしたらハマった - Drink Beer, Do Something
リモートサーバでのコマンド実行がコケる Jenkinsだと頻繁にリモートサーバでコマンド実行します．普通は手でリモートサーバにsshログインしてコマンド実行して動くのを確認して，よし，Jenkinsから同じことをさせようとなると思います．このときsshを非対話モードで使うと，Jenkins上では単なる「Shellの実行」を設定するだけでいいので以下のようにやりがちです． ssh user_name@my_remote_server -i key.pem ls -l コマンドがlsなんかだと問題ないですが，ここで，最後のコマンドの部分がリモートサーバのbash環境変数に依存している場合，コケます．bashが非対話型で起動された場合，/etc/profileとか.bash_profileとか.bashrcは読み込まれないからです．実は，Jenkinsというよりはshellの仕様の話です． 手
bashrcの設定の読み込まれる順番 - それマグで！
bashrcが反映されないなーと思ったので調べてみた。 すると、原因は .profile が無かった。 なので .profile にbashrc を読込設定を書いた bashrc読込設定は/.profileに書いておけばいい。（Debianのデフォルトを貰ってきた→後述） このとき、~/.profileに書いて大丈夫か心配になったので調べてみた。 設定に関するファイルの一覧 bash環境変数に関する設定は次のファイルに依って構成されていました。 /etc/profile ~/.bash_profile ~/.bash_login ~/.profile /etc/bash.bashrc ~/.bashrc どの順に読み込まれるか調べてみた。 各ファイルは自分のファイル名だけを出力する設定にして、その他を全部コメントアウトした /etc/profile を空っぽにしてEchoだけして読込順を調
最強のJVMチューニング・ツール: GCログを可視化するGCViewerとリモート接続でプロファイリング可能なVisualVM
まずは倍率を１０００倍から５０００倍に上げます。 Data Panelも一旦非表示にします。 さて、これを見ると、使用済みヒープと使用済みNew領域は比例しつつ一定の間隔で上下しています。 ここからは特異点は見えないので、一旦非表示にします。 イニシャル・マークレベル（黄色の線）も一定で、分析対象としづらいので非表示にします。 すっきりして少し見やすくなりました。 ここから、 最も時間がかかっているのはイニシャル・マーク イニシャル・マークは1分間に２回程度発生している ということが読み取れます。 イニシャル・マーク では、そもそも、コンカレントGCにおけるイニシャル・マークとは何なのでしょうか。 OracleのドキュメントのReviewing GC with the CMSによると、New領域から参照されているオブジェクトをマークするのだと。 Stop the Worldを伴い、マイナー
mprofile-python がパワーアップしていた - tokuhirom's blog
setup.py が設定されてちゃんとした python のパッケージになりました｡pip でインストールできるようになって便利｡ mpdump を直接いじって使ってね､という怠惰な実装だったのが､ちゃんと外部からコマンドライン引数で処理できるように変更されました｡ という変更が @t2y さんから p-r されてきたのでマージしました｡ オープンソースってすばらしい｡
Rubyのパフォーマンス計測ツール - ワザノバ | wazanova
https://www.youtube.com/watch?v=cOaVIeX6qGg 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 42分前 Aaron Quintは、オンライン/オフラインで招待状やお祝いのカードを送るサービスであるPaperless PostのCTOです。GoRuCo 2014で、お薦めのRubyアプリのパフォーマンス計測ツールを紹介してくれてます。 評価の基準としては、 Specificity (Sp): アウトプットの内容がどれだけ詳細か。 Impact (Im): Probe Effectのレベル。計測が意図しないシステムの振る舞いにつながる可能性のある影響度合い。この数値が大きいと本番環境では使えない。 Difficulty of Operator Use (Op): ツールのセッ
JavaのCPUプロファイリング - nekop's blog
JBoss / WildFly (全部俺) Advent Calendar 2013の19日目です。Java一般なトピック寄りで。 自分で主に利用するJavaのプロファイラはYourKitなのですが、YourKitを購入していない場合で性能問題を解析するときとかに何が使えるかなぁと思って調べてみました。 $ uname -a Linux localhost.localdomain 3.11.10-301.fc20.x86_64 #1 SMP Thu Dec 5 14:01:17 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux $ java -version java version "1.7.0_45" OpenJDK Runtime Environment (fedora-2.4.3.0.fc20-x86_64 u45-b15) OpenJDK 64-Bi
GitHub - jsoverson/plato: JavaScript source code visualization, static analysis, and complexity tool
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goのpprofがruntime関連の情報しか表示してくれない時の解決方法 - knqyf263's blog
YAPC: Go Debugging, Profiling, and Optimization
gprofで行単位のプロファイルを出力する - SumiTomohiko's blog
GitHub - InviteBox/django-live-profiler: A database access profiler for Django-based applications that can be ran in production
Profiling Django
