YappoLogs: なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか
なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか ここ最近の大規模サービス関連したデータページング考です。 mysql 5.5.34 で試して記事書いてます。 bigdata テーブルは id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) なカラムがある前提です。もちろん InnoDB です。 2014年なんだからCOUNT(*)とかSQL_CALC_FOUND_ROWSとかLIMIT OFFSETのページングはやめようぜ - Togetterまとめが発端にみえるけど、わりと昔から話されてる事なんだけど、「nippondanji SQL_CALC_FOUND_ROWS」でググっても有用な情報ないし文書化されてないからしとく。 ページング処理で使われがちな機能です。 S
YappoLogs: はてブのエントリページに出て来るクリッピングサイトを消してくれるグリモン書いた
はてブのエントリページに出て来るクリッピングサイトを消してくれるグリモン書いた みなさんは、はてなブックマークの「このエントリーを含む日記」をクリックして何か言及があるかと思ったら、クリッピングサイトで特に言及がなかった経験はありませんか？ また、自分のエントリに「このエントリーを含む日記」が付いてて、よく考えたら特定数以上のusersが付いたエントリを自動収集してる日記だったりしてがっかりしませんでしたか？ このはてブクリッピングサイトリムーバは、そんな貴方のお悩みを解決してくれる優れたuserscriptです。 このユーザースクリプトを入れるだけで、これらクリッピングサイトがエントリリスト画面から無くなってしまいます。 hatebu clipping site removerを入れたときのキャプチャ ちなみに消してるサイトは、ざっくり見てクリッピングサイトっぽいのだけをピックアップして
YappoLogs: WebService::SimpleAPI::Wikipedia
WebService::SimpleAPI::Wikipedia WikipediaAPI - ウィキペディア情報をサイトで利用できるAPI キーワードを指定すると、その言葉に関するwikipediaの記述をダイジェストとして返します。コンテンツ内に百科事典機能を持つサイトを簡単に作ることが出来ます。SimpleAPIシリーズの特徴でもあるJavascriptやHTML出力も用意しています。なんかウェブサービスがいろいろリリースされる季節ですね。ということで気軽に試してみましたよッ! http://trac.yappo.jp/trac/browser/WebService-SimpleAPI-Wikipedia/trunk http://tech.yappo.jp/download/WebService-SimpleAPI-Wikipedia-0.01.tar.gz 使い方は my $ap
YappoLogs: JavaScript::Swell - Web2.0 時代のHackモジュール
JavaScript::Swell - Web2.0 時代のHackモジュール ここ最近はJavaScriptもかなり注目をされており、色々なサイトのjsファイルを読みふけってる方も多いと思います。 そこで困るのがSquishされて見づらくなったソースコードなのではないでしょうか？ 皆さん、それぞれ苦労して見やすいソースに修正して日々Hackされてることと思います。 そんな苦労erにぴったりなモジュールがありました。 JavaScript::Swellです。 Squishの逆でSwellというなんともな名前です。 使い方も簡単でした。 use JavaScript::Swell; print JavaScript::Swell->swell("var i=0;if(i++){var a=-1;}");ってなコードで var i = 0; if (i++) { var a = -1; } こ
YappoLogs: ページがどんなキーワードで検索されたかをTagCloud風に表示させるくっつきサービス
ページがどんなキーワードで検索されたかをTagCloud風に表示させるくっつきサービス Search Word Cloud ※11時に仕様を変更した追記を行っています。 うまい説明が思い浮かばないのですが javascriptファイルをページに貼り付けておくだけで、そのページに訪問した際に使われた検索キーワードを自動的に検知して そのキーワード達をTagCloud風に表示させる物を作ってみました。 機能は上記のものだけでいたってシンプルです。 このblogは、topの左上と各エントリの上にくっつけてます。 基本的な集計単位はURLベースなので、同一コンテンツに複数のURLが割り当てられてる時には挙動が変になるでしょう。 他にもネタがあるけど、とりあえず設置方法だけ書いておきます。 設置方法 <script src="http://swc.blogdb.jp/js/swc_init.js">
YappoLogs: さようなら xxx 2.0 こんにちわ xxx 3.0
さようなら xxx 2.0 こんにちわ xxx 3.0 YAMDAS現更新履歴 ついカッとなってまとめてしまった。「2.0」ならなんでもよかった さて、これまで当方は何度も「なんちゃら 2.0」の氾濫に警鐘を鳴らしてきたが（ウソ）、これまで単発的に取り上げてきたものを中心にざっとまとめてみた。大体、公開時期が古い順。現在火だるま状態なのだが、ちょっと逃避したくなったもので…… というわけで2.0な物は徐々に増えているらしい。 世間的には来年あたりから2.0が注目されるかも知れませんが、2.0が出回る前に3.0なんてのが出るのが定石だと思われるので こんな3.0がくる？ってのをリストアップしよう。 ・Web 3.0デバイス毎でのパーソナライズに対応、HTTPのプロトコルも新しく ・Where 3.0落し物検索や迷子検索などの、プライバシーに配慮しつつもリアルオブジェクトとの連携など ・Who
YappoLogs: ほりえもんでんせつ
ほりえもんでんせつ 20せいき しゃちょうになる 2004ねん きゅうだんおーなー 2005ねん こっかいぎいん 2006ねん だいじんになる 2007ねん じみんとうそうさい 2008ねん そうりだいじんになる 2009ねん そしてでんせつへ Posted by Yappo at 2005年08月17日 11:44 | TrackBack | 適当
YappoLogs: Senna+MySQLをより超高速にするパッチ
Senna+MySQLをより超高速にするパッチ 当者比50～100倍程のスピードアップ（クエリ/テーブル構造による）のパッチです。 MySQL(特にFullText boolean mode)のlimitの実装はある意味効率の悪い実装になっている。 例えば、limit 100000,100といったクエリを投げると100100行分のデータをディスクから読み込むのである。 まぁ、whereなどの条件に一致する100000件のレコードを先に確定させなければいけない訳で当然といえば当然である。 order byとか使ってたらなおさら。 無論SQL_CALC_FOUND_ROWSなんか使ってると全件確定させなきゃいけないから大変。 当然これらはindexを使用していない時の挙動だと思う。 indexのみが使われたクエリの挙動は未確認だけど。 さて、ここから本題。 では、Senna+MySQLの挙動は
YappoLogs: Acme::Monta - （ｒｙ
Acme::Monta - （ｒｙ さらに悪ノリしますた。 use Acme::Monta; my $monta = Acme::Monta->new(); print $monta->montaize('健康になるには<monta>野菜</monta>の摂取が大事'); こんな感じです。 <monta>タグでくくられた内容をmontaizeします。 ようはもんたメソッドもじゅーるですな。 マウスカーソルの変更やメソッド名のネタを頂きました。 Acme::MontaでCPAN登録済みというオチですが。 なのでperl -MCPANでどうぞ。 Posted by Yappo at 2005年06月09日 01:35 | TrackBack | Perl
YappoLogs: DBIのクエリを透過的にキャッシュするDBIx::QueryCacheを作ってみた
DBIのクエリを透過的にキャッシュするDBIx::QueryCacheを作ってみた 同じクエリが良く発行されていて、DBサーバにまで負荷をかけずにフロントエンドでキャッシュする仕組みが無いかと思っていて、 どこかで実装されている物だと思い探していたのですが、無いようなのので実装してみました。 DBI経由で取得するクエリの結果を透過的にキャッシュする事が可能なモジュールです。 透過的と言っても、キャッシュしないSQL分を正規表現で指定して弾くというだけで アプリケーションによっては、不都合が大量に出てくるので明示的にキャッシュのON/OFFを指定するメソッドも追加しています。 現在は、MFPMにて試験的に導入されています。 ソース 説明 開発の思想としては、キャッシュにヒットする事でパフォーマンスが向上する事は考えておらず、 キャッシュにヒットさせることでDBサーバのクエリ数を減らし、結果的
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
