MySQLのfilesortは何ソートで行われているのか - $shibayu36->blog;
最近、CourseraのArgorithms, Part1という講義を受けている。そこでソートの講義を受けて、そういえばMySQLのORDER BYでfilesortになったときってどのソートが使われているのだろうと気になってきたので調べてみた。 調べてみると非常に難解で、結局いまいち分からなかったが、今の段階の調べた内容をひとまず書いておく。MySQLのコードを読んだのも初めてで、しかもちゃんと読み解くことができなかったので、情報が間違っている可能性も非常に高い。間違ってたら指摘してもらえるとうれしいです。 調査結果 最初に調査結果を書いておく。たぶんこれは非常に単純化したもので、詳しく見るともっといろいろチューニングされてそう。 sort_buffer_size以内のメモリ量でソートが可能な場合、メモリ内でのみソートされる ソートにsort_buffer_size以上のメモリが必要な場
テストは正確に、具体的に
先にも書いたとおり、ユニットテストにおいては、実装コードの「偶然の仕様」への合致を確認するのではなく、コードの動きが本来の要求に合っているかを確認することが大切です。だからと言って、それを言い訳にテストが暖昧なものになるようでは因ります。テストはあくまで正確で厳密なものでなくてはなりません。 ここでは理解しやすいよう、あえて古典的な例をあげて説明してみましょう。ソート処理のコードをテストするという例です。今の時代に、業務の中でソートアルゴリズムの実装を求められるプログラマはあまりいないでしょう。しかし、ソートなら馴染み深く、ともかくどういう処理なのかを誰しもが知っている(少なくとも知っていると信じている)ので都合がいいのです。ただ、馴染みがあるだけに、自分の思い込みに気づきにくいというのも確かですが。 ソート処理のコードをテストする場合、「テストで何を確認するのか」とプログラマに尋ねたとす
新・ソートに関する検証 その１ - InsightTechnology 旧ブログ
＜新・ソートに関する検証 その１＞ ペンネーム グリーンペペ 今回からソート処理に関する検証を行います。 9iからソート処理に関わる新しい機能が用意されました。 自動PGA管理です。 □自動PGA管理って何？ 8iまでは、SORT_AREA_SIZEやHASH_AREA_SIZEなどの初期化パラメータでセッシ ョン単位のメモリ使用量の上限を設定していました。 9iより以下の初期化パラメータにより、インスタンス単位でプロセスが使用す るSQL作業領域であるPGA(プログラム・グローバル・エリア)メモリの使用量の 上限を設定できます。 PGA_AGGREGATE_TARGET インスタンスで使用可能なPGAメモリの総使用量を指定。 インスタンスレベルでの動的変更可能。 設定できる値の範囲は10M～4096G-1バイト。 WORKAREA_SIZE_POLICY SQL作業領域のサイズを自動チュ
アルゴリズム＋データ構造勉強会（2）
Describes the exponential distribution and the estimation of its parameters
アルゴリズム＋データ構造勉強会（1）
Learning ML at GrandFront in Osaka, chapter11 source code: https://github.com/u651601f/OLerning-PRML
Sorting Algorithms Animations
KEY Black values are sorted. Gray values are unsorted. A red triangle marks the algorithm position. Dark gray values denote the current interval (shell, merge, quick). A pair of red triangles marks the left and right pointers (quick). DISCUSSIONThese pages show 8 different sorting algorithms on 4 different initial conditions. These visualizations are intended to: Show how each algorithm operates.
c++11constexprでコンパイル時バイトニックソートを大雑把に実装した - TXT.TXT
ネタではなく非常に強力であり実用的なソートである //コード bitonic_sort.hpp //実行結果 [Wandbox]三へ( へ՞ਊ ՞)へ ﾊｯﾊｯ ちなみに一部コードは C++11 constexprでマージソート - ここは匣 から借りてきた バイトニックソートとはマージソートの亜種であり、マージソート以上に並列実行に特化したソートアルゴリズムである ギミックが美しい。とても美しい。ミニマルを感じる おおまかな動きはここを見てほしい バイトニックソート - 高速化プログラミング 詳しいアルゴリズムはここを見てほしい Bitonic sort バイトニックソートは再起オーダーO((log N)^2)で実装することができる これはもはやconstexprするしかない。するべきである O((log N)^2)というのは実用上十二分に使える数値である。1024要素あっても100*K
mongoDBでだいたい新しい順番にドキュメントを取得する - NullPointer's
mongoDBのコレクションにはnatural orderという概念があります。sortせずにfindするとインサートされた時間が古いものから順番に取得されますが、この並び順がnatural order。 新しい順にドキュメントを取得したい場合は sort に { $natural: -1 } と指定すればおけー db.Hoge.find().sort({ $natural: -1 }); 連番フィールドや時刻フィールドを用意してsortするよりもかなり速いです。 ただし、natural orderはディスク上の物理的な順番なので、分散環境でチャンク移動が発生した場合や、updateでドキュメントが大きく変更された場合などに変わってしまいます。だいたい新しい順でいいやー、というようなゆるい状況でなければ使えません。 ※ capped collectionはインサート順とnatural or
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Internationale Fachkommunikation | Hochschule Flensburg
最近よかったもの - ここは匣