MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
Redshift の自動パフォーマンスチューニング機能まとめ - Qiita
はじめに Amazon Redshift には機械学習ベースで自動的にパフォーマンスを最適化する機能が複数あります。数が増えて追いきれなくなってきたので以下にまとめます。 Automatic Vacuum Delete デフォルトで有効 2018/12/19 に追加 UPDATE や DELETE オペレーションにより論理削除された行数にもとづいてバックグラウンドで自動的に VACCUM DELETE を実行します。これにより断片化で消費されていたスペースが解放され、ワークロードのパフォーマンスが向上します。 低負荷のときに実行するようにスケジュールされ、負荷が高い間は操作を停止します。 Automatic Analyze デフォルト有効 2019/1/18 に追加 バックグラウンドで自動的に ANALYZE を実行し、テーブルの統計情報を更新します。これにより最適なクエリの実行計画の作成
レッドコーダーが教える、競プロ・AtCoder上達のガイドライン【中級編：目指せ水色コーダー！】 - Qiita
※ ダイクストラ法・ワーシャルフロイド法は最短経路問題を解くアルゴリズムです。 ※ クラスカル法は最小全域木問題を解くアルゴリズムです。 それらのアルゴリズムが学習できる記事たちなどを紹介します。 全探索 全探索には、「全列挙」「ビット全探索」「順列全探索」「再帰関数を用いた全探索」など多くの種類に分かれます。しかし、基本的に以下の記事を読めば全部理解できます。 全列挙 たのしい探索アルゴリズムの世界【前編：全探索、bit全探索から半分全列挙まで】 の 2 章 その他の全探索 たのしい探索アルゴリズムの世界【前編：全探索、bit全探索から半分全列挙まで】 の 3 章 二分探索 アルゴリズムの代表例ともいわれる二分探索は、以下の 2 記事で解説されています。 二分探索とは：アルゴリズムを勉強するなら二分探索から始めよう！ 『なっとく！アルゴリズム』より 競プロで使える二分探索：二分探索アルゴ
計算量オーダーの求め方を総整理！ 〜 どこから log が出て来るか 〜 - Qiita
NTT データ数理システムでリサーチャーをしている大槻 (通称、けんちょん) です。今回は計算量オーダーの求め方について書きます。 0. はじめに 世の中の様々なシステムやソフトウェアはアルゴリズムによって支えられています。Qiita Contribution ランキング作成のために用いるソートアルゴリズムのような単純なものから、カーナビに使われている Dijkstra 法、流行中のディープラーニングに用いられている確率的勾配降下法など、様々な場面でアルゴリズムが活躍しています。アルゴリズムとはどんなものかについて具体的に知りたい方には以下の記事が参考になると思います: アルゴリズムとは何か ～ 文系理系問わず楽しめる精選 6 問 ～ アルゴリズムを学ぶと $O(n^2)$ や $O(n\log{n})$ や $O(2^n)$ といった計算量オーダーの概念が登場します。こうした記法を見ると
結局、Go言語をやめる理由はなかった件 - Qiita
この記事は Go 2 Advent Calendar 14日目の穴埋め記事です。 はじめに @okdyy75 さんによる Go 5 Advent Calendar 14日目の の記事「だから僕はGo言語を辞めた」 が「ベンチマークっていうのはこうやるんだよ」というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。 ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。 下準備 幸いなことに、ベンチマークのソースコードがGitHubにある ので、こちらを実行しながら問題点を改善していきましょう。 ちゃんとコードが上がっているのは素晴らしいですね！ 一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
Linux 性能解析ツールperfを使ってみた - Qiita
背景 システムコールから先のボトルネック箇所を知りたい事がありまして、その際にperfなるものを教えてもらいました。 使ってみると色々と便利なツールで勉強になったことも多々あるのでそちらのご紹介です。 概要 perf(Performance analysis tools for Linux)とはLinuxカーネル2.6.31以降で使用可能なLinuxの性能解析ツールです。 ざっくりいえば下記 実行されるプログラムと OS とのイベントを見れる OS とハードウェアのイベントを見れる カーネルのカウンタで計測されるイベントだったりプロセッサで計測されるイベントが知れる 例えばL1のヒット状況やTLBの様子なども観察できます。 (CPUサイクル数、分岐の数、分岐予測ミス数、キャッシュ参照数、キャッシュミス数など豊富な機能) 導入 導入はRedHat,centOSならyum,ubuntuならap
Variable Annotation と Cython でお手軽高速化 - Qiita
みなさん Cython 使ってますか？私は使っていません. というのも次の理由があったからです. コンパイルが面倒... C じゃなくて Python が書きたいんだけど... Python のコードを実行不可にしたくない or デコレータが見にくい... これらのうち上記2つはこれまでも解決されていました. IPython の Cython Magic を使う Pure Python Mode を使う 最後の一つに関しては先日 Cython 0.27 によって解決されました。 Variable Annotation を使う Python は v.3.5 より Type Hints (PEP 484) が追加され, v.3.6 より Variable Annotation (PEP 526) が追加されました. そして, 現在最新版である Cython 0.27 より Variable A
Pythonを速くするTIPS集（計測・ビルドインの各機能・Cython・Numba・etc） - Qiita
色々Pythonを速くするための世の中に方法はありますが、本記事ではCythonやPyPyなどの高速化のTIPSに触れていきます。 この記事で触れること プロファイラーなどの計測関係 ビルドインモジュールなどの機能 Pythonのキャッシュ関係 Cython Numba PyPy（紹介だけ） その他一部のサードパーティーのライブラリ関係 この記事で触れないけどそのうち書くかもしれない内容 並列処理（multiprocessing）、並行処理（threading）、非同期処理（asyncio）、それらの組み合わせ（concurrent.futures）など Dask関係 PyPyの踏み込んだ検証内容など 話題のVaex 記事で使う環境 Windows10（ローカルのJupyter）とUbuntu（クラウド上のカーネル）で進めていきます。 言語はPython3.7.1（win）とPython3
PythonのDaskをしっかり調べてみた（大きなデータセットを快適に扱う） - Qiita
PandasやNumPyの並列処理だったり、メモリに乗り切らないデータを扱う際などによく見かけるDaskライブラリ。 ただ、細かいところまで触れている日本語の資料があまり無かったので、公式ドキュメントなどをしっかり読んでみてまとめてみました。 ※Daskのドキュメント既に読まれている方はご存知かと思いますが、ドキュメントがかなりのボリュームなのと、細かい所まで把握するのを目的とするため、本記事も長めです。仕事などの都合でさくっと使われたい方には向いておりませんので、そういった場合は別の記事をご参照ください。 どんなライブラリなのか Pythonで並列処理・分散処理などを簡単に扱ってくれる。 Pythonでよく使われるライブラリとかなり近いインターフェイスを提供している（NumPy、Pandas、Scikit-Learnを中心に、他にもTensorFlow・XGBoostなども）。 必要な場
どうやら Erlang をコンパイルした時のCコンパイラによって Elixir の性能がかなり異なるようだ - Qiita
この記事は「fukuoka.ex Elixir／Phoenix Advent Calendar 2019」16日目です。 昨日の「fukuoka.ex Elixir／Phoenix Advent Calendar 2019」は @pojiro さんの「作って学ぶPhoenix、IoTサーバー」でした。 前回は「#NervesJP Advent Calendar 2019」12日目と13日目にそれぞれ「Nerves の可能性は IoT だけじゃない(前編)〜ElixirとPelemayで世界の消費電力を抑える」と「Nerves の可能性は IoT だけじゃない(後編)〜Nervesで世界の消費電力を抑える」をお届けしました。 さて2019年11月の頭にこんなツイートをして反響を呼びました。 今日知った衝撃の事実。Elixir は，Erlang を GCC でコンパイルするのか，Clang で
Pythonでのデータ分析 : line_profiler についてのメモ - Qiita
line_profiler が便利です スピーチとスカートは短いほうがいい、という話を聞いたことがあります。 データ分析でも、実験をできるだけ多くしたいので、 前処理などの定型繰り返し作業はできるだけ短いほうがいいですね。 そんなときに役に立つのがプロファリングだと思います。 最近、プライベートで数10GB~サイズのデータを扱うことになりました。 その作業を通じて、並列処理、プロファイリングなどについて 小さな発見がありましたので、共有できたらなと思いました。 初回は、line_profilerでプロファイリングしたときの発見です。 line_profiler については、いろんな方が書いているので、調べて頂ければと思います。 とても素晴らしいプロジェクトです。 データの集計処理をプロファイリングする データについて 実際にあつかったデータはお見せできませんので。。。 そのデータに構造が近
なぜGo言語の正規表現は遅いと言われるの？ - Qiita
はじめに Goの正規表現は遅いと言われていることが以前から疑問だったので調査してみました。 こちらの記事やこちらの記事を拝見する限り ① 現実的なユースケース(例えばURLのパースなど)ではGo言語の正規表現は使うべきではなく、stringsパッケージの標準の関数を利用した方がパフォーマンスとしては良い。 ② Go言語で正規表現を利用するために必要な"正規表現オブジェクト"を並行にアクセスするにはパフォーマンスが問題になるので注意が必要。 とあります。その理由は、それぞれ以下に集約できるようです。 ① Go言語標準の正規表現ライブラリは、正規表現と検査文字列の長さに対して常に$O(n^2)$のオーダーで計算量が増加する安定したアルゴリズムを採用している。 ② "正規表現オブジェクト"を用いたマッチング処理には排他制御が行われている。 調べてみる Go言語のpkg/regexpの公式ドキュメ
MySQLのチューニングについて - Qiita
MySQLのSELECT時にORDER BYを使用した時のソートの話 テーブルにINDEXが貼られている事が前提ですが、 例えば３テーブルを結合し、ソートをかける時などに、 全てのテーブルの結合を行った後にマスターとなるテーブルで並び替えると、 Using filesortが発生し、SELECTの実行が遅くなる場合があります。 回避方法として、カラムの表示用のマスターテーブルと、ソート用に使うマスターテーブル(別名付け)を用意し 用途を分けたSELECT文にするなどがあります。 sample.sql SELECT tbl1.col1, tbl2.col2, tbl3.col3 FROM tbl1,tbl2,tbl3 INNER JOIN tbl1 AS tbl4 ON tbl1.col1 = tbl4.col1 WHERE tbl1.col1 = tbl2.col1 AND tbl2.co
go標準のbenchmark機能の使い方 - Qiita
ReadMeFirst golangには、関数のbenchmarkを行うパッケージ・ユーティリティが標準で含まれています。 今回はgoで関数単位でのbenchmarkをとる方法について書きます。 testの基本的な実行方法については、前記事を参照。 ベンチマークするテスト関数を作る testing package の benchMark用の 構造体を使います。 Benchmark関数は以下のように宣言します。(規約) package main import ( "fmt" "testing" ) func BenchmarkAppend_AllocateEveryTime(b *testing.B) { base := []string{} b.ResetTimer() // Nはコマンド引数から与えられたベンチマーク時間から自動で計算される for i := 0; i < b.N; i+
MySQL EXPLAINのそれぞれの項目についての覚書 - Qiita
id/select_type/table どのテーブルがどの順番でアクセスされているか id 実行順番を表す 数字が同じなら複数のクエリが１つのクエリとして実行されている select_typeの詳細 SIMPLE 単一のテーブル サブクエリが絡む場合 PRIMARY 外部クエリ SUBQUERY 相関関係の無いサブクエリ DEPENDENT SUBQUERY 相関関係のあるサブクエリ UNCACHEABLE SUBQUERY 実行する度に結果が変わる可能性のあるサブクエリ DERIVED FROM句で用いられているサブクエリ table 対象テーブルの名称 partition どのpartisionテーブルを使用したか 複数にまたがる時は複数の値が表示される type レコードアクセスタイプ typeの詳細 const pk or uniqueインデックスを使用したルックアップによるアク
MySQLでビッグデータ（１億レコード以上のデータ）を作って遊ぼう - Qiita
MySQL(RDBMS)でビッグデータを扱う ビッグデータというのは、概ね通常単一のPCでは扱いきれないデータ量のレコード数のデータのことを言います。 一般的にはDBなどに蓄積されているデータよりも蓄積はされても参照されることのないログファイルを指してビッグデータと呼ばれるようですが、通常参照されることのないデータをわざわざ検索することにそれほど価値や意味を見出すことには疑問が残ります。 また、ログファイルといえどもそうそう１億行にも達するようなデータというものはwebサービスを運営していたとしても早々お目にかかれるものでもありません。 なので、「ワイもビッグデータを扱ってみたい！」とふと思った少年少女そのほかおじさんなどに向けた「手軽に作れるビッグデータ」の方法を記述していこうかと思います。 本記事を試行するにあたって必要なシステム 本記事ではMySQL5.5を利用していますが、5.1以
計算量オーダーについて - Qiita
プログラムの計算量を表すO記法について、使用例を調査しました。 計算量（オーダー）とは？ あるアルゴリズムを使った演算の性能を表す指標。 計算量は大きく二つに分けられる。 時間計算量（処理時間の計算量） 空間計算量（メモリ使用量の計算量） 単に計算量（オーダー）と言った場合、時間計算量のことを指す。 O記法（オーダー記法） 特定のアルゴリズムでの計算が、どれくらい掛かるかを表した記号。 処理対象のデータが非常に大きくなった時の処理時間を大雑把に評価する。 処理時間が短い順（性能が良い順）に代表的なオーダーをまとめる。 O記法 概要 使用例
稼働中の Elixir/Erlang アプリケーションをお手軽デバッグトレースできる erlyberly が超便利！ - Qiita
稼働中の Elixir/Erlang アプリケーションをお手軽デバッグトレースできる erlyberly が超便利！ErlangdebugElixir erlyberly って何？ erlyberly は、Erlang の他、Elixir, LFE (Lisp Flavoured Erlang - Elang VM 上で動作する Lisp) といった Erlang 系言語向けのデバッグトレースがビジュアルに出来る GUI ソフトウェア。Java で出来ているので JDK (8u20 以上が必要) が入っている環境であれば動作する。 百聞は一見に如かず、というわけで、まずはスクリーンショットから。 Erlang 系言語にはコマンドラインのデバッガは幾つかあるが、視覚的にデバッグ・トレースできるものは余り見当たらない。 豊富な機能 できることは GitHub の READ.md に貼られている
ZEAM開発ログv0.1.2 AI/MLを爆速にしたい！ Flow のコードを OpenCL で書いてみる〜CPU編 - Qiita
今回は，いよいよGPUを駆動するプログラムを書いてみたいと思いますが，その前段階として，OpenCLを使ってCPUのポテンシャルを使い切ってみたいと思います。 OpenCLとは？ OpenCLは，アップルによって提案され，現在は標準化団体クロノス・グループの OpenCL Working Group によって策定されている標準規格で，マルチコアCPUやGPU，DSP，FPGAなど，異なる計算資源を活用するコンピュータシステム(ヘテロジーニアス環境とか，ヘテロジーニアス・コンピューティングとか呼びます)でのクロスプラットフォームな並列プログラミングフレームワークです。 ヘテロジーニアス環境ということは，ほぼ同一のプログラムで，マルチコアCPUもGPUもDSPもFPGAも駆動できます。 クロスプラットフォームということは，ほぼ同一のプログラムで，MacでもLinuxでもWindowsでも動作し
Railsでイベントの処理時間を計測したりログを出力する - Qiita
RailsのログにはViewのレンダリングやSQLの処理時間が表示されています。 これらは ActiveSupport::Notifications や ActiveSupport::Subscriber が使われています。 この仕組みを利用すると、自分のライブラリでも処理時間やログを出力することができます。 まずは、Notificationsってどんなものか見てみましょう。 ActiveSupport::Notifications Instrumenters 通知するリスナーを登録します。 ActiveSupport::Notifications.instrument('message.sample', text: 'message') do sleep(0.1) end ActiveSupport::Notifications.instrument('test.sample', tex
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
