tree-tips: MySQLで大量レコードのjoin | MySQL
大量レコードのjoinは遅い 遅くなるのはMySQLだけなの？ そんなことはありません。MySQLもPostgresもOracleもSQLServerも遅くなります。 Oracleのオプティマイザは賢いですが、基本的に大量レコードのjoinは避けるべきです。 何故遅くなるの？ データ量が多すぎてテンポラリ領域を使う（バッファに乗り気らない）から、です。 何件くらいからjoinが遅くなるの？ スキーマ構造によるので一概には言えませんが、大体1000件辺りから微妙に遅くなり、1万件を超えると一気に遅くなります。 1万件程度なら割と力技（マシンパワー）で何とかなるので、1万件を超えた辺りから注意してみて下さい。 よくある例では、ログを元にしたアクセスレポートの生成時に、大量レコードのjoinが必要になり易いかもしれませんね。 解決策 データ量を減らしてからjoinする。 データ量が多いならデータ
CI で稀に失敗してしまうテストへの対処方法 - クックパッド開発者ブログ
技術部の福森です。 クックパッドでは RSpec と Jenkins を利用して CI による自動テストを行なっています。 テストの数は 12000 examples を越えていて、テストによっては稀に失敗する物が出てきています: 時間帯依存で失敗してしまうもの 他に同時に実行されるテストに依存しているもの (並列実行で組合せが変わり再現する) インテグレーションテストでの ajax リクエストの微妙なタイムアウト etc また、本番環境を壊さないよう、 CI で成功したリビジョンのみデプロイ可能となっており、開発者が push しデプロイしたいと思っている時に無関係な原因で失敗する事を避けたいという欲求があります。 なぜなら、再度ビルドを実行する時間 (およそ 10 分) の間待たされる事になるからです。 そこで、そのようなテスト起因での失敗を減らし、かつ開発者にそれらを修正してもらうた
ActiveRecordで複数レコード、BULK INSERTする方法とパフォーマンスについて - Qiita
あるテーブルに対して複数のレコードを同時に登録したいことがあります。 このときに登録する数だけINSERTを発行するのはあまり効率がよくありません。 そこでBULK INSERTと言われる単発のSQLで一括登録する方法がよく使われます。 BULK INSERTとは 単純なbooksというテーブルを使い、BULK INSERTはどういうものか確認する。 CREATE TABLE `books` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL, `created_at` datetime NOT NULL, `updated_at` datetime NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAU
mysqldumpの--whereオプションについて - tohnishi’s blog
仕事関係で久々にMySQL(4.0.xx)を使うことになり、とあるサーバー(telnet/ssh、ftpのみ使用可)から別のサーバー(phpMyAdminのみ使用可)にデータをインポートするという作業を行ったのだが、移行元サーバーでのmysqldump実行結果ファイルが大きすぎるために移行先phpMyAdminでの取り込みが失敗するという問題が発生した。 そこでmysqldumpのオプション--whereを使って出力を指定数ごとに分割するスクリプトを書いてみたのだが、なんかどうも上手く動作しない。いろいろ調べたり試したりしているうち、参照していたmysqldumpマニュアルの--whereオプションの説明が変ではないか、ということに思い至った。 例えばdev.mysql.comの4.1系のmysqldumpコマンドのマニュアルでは、--whereオプションの記述は以下のとおりである。 -w
ActiveSupport::Concern
Active Support Concern A typical module looks like this: module M def self.included(base) base.extend ClassMethods base.class_eval do scope :disabled, -> { where(disabled: true) } end end module ClassMethods ... end end By using ActiveSupport::Concern the above module could instead be written as: require "active_support/concern" module M extend ActiveSupport::Concern included do scope :disabled, -
rspec Pending Tips - Qiita
it, specify, exampleそれぞれの先頭にxをつけるだけで、Pendingになる。 describe Foo do xit { 1.should eq 1 } xspecify { 1.should eq 1 } xexample { 1.should eq 1 } end Pending: Foo # Temporarily disabled with xit # ./spec/models/foo_spec.rb:4 Foo # Temporarily disabled with xexample # ./spec/models/foo_spec.rb:6 Foo # Temporarily disabled with xspecify # ./spec/models/foo_spec.rb:5
LC_ALL環境変数とsortコマンド - sileのブログ
自分の環境では、sortコマンドを実行する時にLC_ALL環境変数に'C'をセットするかしないかで、処理終了までの時間が著しく変わる。 # 約40万行のデータ > wc -l words 392126 words # 入っているのはUTF-8の日本語(IPA辞書を利用) > head words やぼったい やぼったし やぼったから やぼったかろ やぼったかっ # 普通のソート > time sort words > /dev/null real 0m37.158s user 0m37.098s sys 0m0.056s # LC_ALL=Cでのソート > time LC_ALL=C sort words > /dev/null real 0m0.293s user 0m0.284s sys 0m0.008s ロケールを考慮してソートするかどうかの違いだと思うが(LC_ALL=Cの場合は、
＠IT：正規表現で使用するメタ文字を検索するには
文字列検索にはgrepコマンドを使うのが一般的だ。 grepコマンドは正規表現による検索をサポートしており、正規表現で使用するメタ文字という特殊な文字（\、[、]、^、$、*、.など）を含む文字列を検索する際はメタ文字の前にバックスラッシュ（\）を付けなければならない。メタ文字が少数であれば問題ないが、数が多くなるとバックスラッシュでエスケープするのは面倒だ。そんなときは、正規表現をサポートしないgrepであるfgrepコマンドを使う。 例えば、「********」という文字を検索する場合、grepコマンドでは、
[PhpStorm/WebStorm]jQueryの非効率な使い方をすると警告してくれるようになった | バシャログ。
iOS6 のマップって不便って騒がれたけど、それほどでもないよね？…って思ってましたが、最近お店探しで使って全然見つからなかったので、さすがにこれは…と思いMapion インストールしました。使いやすいですね… 今日は、だらしない明らかに非効率なjQueryなコードを書くとやんわりと指摘してくれるPhpStorm/WebStormの機能「Inspection: jQuery usage efficiency 」を紹介します。(バージョン5.0以降) New JavaScript inspections and intentions | WebStorm & PhpStorm Blog 非効率なjQueryのコード っていったいどんなコードなのか。具体的には以下のようなコードです。 $("p").addClass('hover'); $("p").toggle(); 実際にはこんなコードを書
![[PhpStorm/WebStorm]jQueryの非効率な使い方をすると警告してくれるようになった | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b62b4e0fd4ed08a00e42d880ceb27ae1f776b93/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fws_ps01.jpg)
JavaScriptで全角英数と半角英数の相互変換 - Rewish@hatena
全角英数の文字コードから65248個前が半角英数の文字コード。 半角英数の文字コードから65248個後が全角英数の文字コード。 // 半角にしたい str.replace(/[Ａ-Ｚａ-ｚ０-９]/g, function(s) { return String.fromCharCode(s.charCodeAt(0) - 65248); }); // 全角にしたい str.replace(/[A-Za-z0-9]/g, function(s) { return String.fromCharCode(s.charCodeAt(0) + 65248); }); 65248の部分は16進数で表される事が多い。 // 半角にしたい str.replace(/[Ａ-Ｚａ-ｚ０-９]/g, function(s) { return String.fromCharCode(s.charCodeAt(0)
技術的負債を減らす - mixi engineer blog
こんにちは、システム本部長の松岡です。 はじめに 今回はミクシィの物作りの中で、技術的な負債を返済する取り組みの一つについてご紹介します。 ミクシィは2012年8月にユニット制に移行しました。これはユーザーファーストな開発を促進するための挑戦です。 裁量権が各ユニット長に落ちることで早い判断と実施が可能になります。 反面、ソースコードがユニットごとに完全に疎結合しているわけではありませんので、早い判断と実施の結果、他のユニットに迷惑がかかるかもしれません。 いつまでも、どの開発者も困らないような開発を進めていければ、問題ないことですが、これまでの開発で負債として溜まってきた事、今後の進め方次第でいずれ行き詰まる事があるとも考えています。 そこで、負債を解消するため or 未来に積まないための対応が必要となります。 ミクシィはとても技術に理解のある会社です。 私含め経営陣から積極的に負債を返
MySQL CSVファイル入出力
MYSQLでの「CSVファイル」の入出力(インポート、エクスポート)方法について記載しています。 Windows、Linuxのどちらの環境でもファイルパスの記載が変わるだけでコマンドは同一になります。 入力 LOAD DATA INFILE 「,」などで区切られたCSVファイルを用意することにより、MySQLに高速にデータを入力することができます。 文字の囲み文字が「”」のときの使用例です。 囲み文字が必要ないときはENCLOSED BY ‘”‘を外します。 構文 LOAD DATA INFILE "ファイル名" INTO TABLE テーブル名 FIELDS TERMINATED BY ',区切り文字' ENCLOSED BY '"';
Test::Unitで実行中のテストケースを表示する - Qiita
$ bundle exec ruby some_test.rb Run options: # Running tests: ... Finished tests in 1.017405s, 2.9487 tests/s, 1.9658 assertions/s. 普通はこれでも十分なんですが、セグメンテーションフォールトとかの低レベルなバグを追っているときだとちょっとつらい。 そういうときは-vオプションを使ってやればいい。 $ bundle exec ruby some_test.rb -v Run options: -v # Running tests: SomeTest#test_a = 0.00 s = . SomeTest#test_b = 1.01 s = . SomeTest#test_c = 0.01 s = . Finished tests in 1.017389s, 2
Ruby On Rails ピチカート街道 - Rails 2.1・その１０(gemの依存関係を明示的に指定) -
自分のプロジェクトで使う gem はこれですので、すべからくインストールすべし！ということを指定できるようになりました。 まあ、gem 依存については私も大層な知識がないのでorz、頼みの rails-2.1.0/CHANGELOG ファイルを見ながらこの記事を書いてみようかなと思います。 config/environment.rb Rails::Initializer.run do |config| # bj という名前の gem パッケージが必要 config.gem "bj" # hpricot という名前で、バージョンが0.6でリポジトリが http://code.whytheluckystiff.net の gem パッケージが必要 config.gem "hpricot", :version => '0.6', :source => "http://code.whytheluc
ruby on rails (Active Record）複数列をgroup by して countする方法 - ruby on rails ビジネスの可能性
Active Recordで以下のようにcountを実行しても、複数列の値が取得できません。 Message.count(:group => "rcv_user_id, send_user_id") =>[[ 3, 2] , [ 4, 2]] ※一番最後に指定した列の値＋行数 このような場合には、countを使わず、通常のfindを使用します。 Message.find(:all , :select => "count(*) count, rcv_user_id, send_user_id":group => "rcv_user_id, send_user_id") 結果をオブジェクト（インスタンス）から取得するときにも、countやメソッド名で取得できるので、ソースの可読性が良くなります。 もう、count使わないほうが良いカナと思ってしまいます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - activerecord-hackery/ransack: Object-based searching.
instance_variable_defined? (Object) - APIdock
Google Code Archive - Long-term storage for Google Code Project Hosting.
Rails Best Practices | Use say and say_with_time in migrations to make a useful migration log
vimエディタから、いろいろなパターンの方法でファイルを開く — 名無しのvim使い