MySQLでインデックスを使って高速化するならCovering Indexが使えそう - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月28日09:33 MySQL MySQLでインデックスを使って高速化するならCovering Indexが使えそう Linux-DB システム構築/運用入門 (DB Magazine SELECTION) 著者：松信 嘉範 販売元：翔泳社 発売日：2009-09-17 おすすめ度： クチコミを見る 最近、この本を読んでいます。非常に面白いし、参考になります〜。中でもインデックスについての記事が特に興味深かったので簡単にまとめてみます。 前提 ・インデックスは検索性能には効果があるが、更新性能は落ちてしまう ・MyISAM と InnoDB ではインデックスの構造が違う ・インデックスは B+Tree インデックスと呼ばれ、ルート、ブランチ、リーフの階層構造になっている ・インデックスはソートされた状態で作成されている まずは MyISAM と InnoDB でのインデックス
MySQL の MEMORY(HEAP) ストレージエンジンを使うときは index_type に気をつけろ - @kyanny's blog
結論: MEMORY ストレージエンジンの index_type はデフォルトで HASH なので = or <=>演算子を使用する等価比較にのみ使用される。 >, >=, <, <=, BTWEEN を使うクエリでインデックスを使いたいときは USING BTREE をつけてインデックスを作ること。 MySQL 5.0.75 (やや古めかしい？）を使っていて、 MEMORY ストレージエンジンのテーブルに対して、 SELECT * FROM tbl WHERE col1 = 'val1' AND col2 <= 'val2';なんてクエリを実行したら妙に遅かった。 col1, col2 の順番で複合インデックスをはっているにもかかわらず。マニュアル読んだらちゃんと書いてありました。あんまり使う機会もないだろうけど（だからこそ？）メモ。 その名前からもわかるように、MEMORY テーブルは
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
Auroraクラスタのレプリケーションクラスタを作成 | 外道父の匠
とあるAuroraクラスタの、完全なデータコピーかつ最新データも元クラスタからレプリケーションで反映し続けるクラスタって作れるのかなーと調べてみると、公式のユーザーガイドにも一般情報にも見つからないしで、裏技臭がしたので書き留めておきます。 実はわりと常識レベルだったりしたらゴメンナサイって感じですが・・・おそらく仕様変更など入らず、ずっと使い続けられるテクニックだと推測できる内容であります。それでは、Auroraクラスタの完全コピーを作りたくなった理由も含めて、まとめていきたいと思います。 Auroraの基本的なレプリケーション Auroraの復習ですが、Writer(=Master) と Reader(≒Slave) は共通のディスクを利用することで、極小さな遅延（10-20ms）でのデータ共通化を実現しています。なので、Writer/Reader間は従来のbinlogを用いたMySQ
Kazuho@Cybozu Labs: MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話
« フレンド・タイムライン処理の原理と実践 | メイン | MySQL の ORDER BY を高速化 » 2008年06月12日 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 フレンド・タイムライン処理の原理と実践 の続きです。 先のエントリでは、プルモデルの速度が当初予測していたよりも遅かった (というより SQL レイヤでのオーバーヘッドが大きそうだった) ので、MySQL Internals メーリングリストで質問したりしながら、C++ で直接 InnoDB にアクセスするようなコードを書いてみました。 タイムライン構築速度 タイムライン/秒 SQL そしたら、10倍以上高速に！ ベンチマークを perl ベースのものから mysqlslap に変えたのですが、プッシュモデルの 2/3 の速度が出ています。これなら、データサイズが約 1/10 にな
Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践
« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。本記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原
スーパーファミコンのソフトをTensorFlowで学習させてみる！ - Qiita
学習方法 ゲームキャプチャ + アクションで報酬(game score)を与えそれを学習させる。 game scoreの取得については、ROMのバイナリ情報を解析する必要があります。 この辺はあまり詳しくありませんが海外にROMの情報が出ているとのことです。 ニューラルネットワークアーキテクチャ 学習関数は定番のReLU。教科学習のアルゴリズムは勾配降下法(Adam)でやってます。 ReLU 勾配降下法 ニューラルネットワークの外観 手順 ⅰ.エミュレータの準備 エミュレータの動作に関しては処理が複雑なのでgitにあげておきます。 https://github.com/tsunaki00/siva_game ※ 他のマシンで試してないので動くかわかりません。 エミュに興味あるかたは海外のgitなどをぐぐってみてください！ ⅱ.ROMの抜き出し 上記にも記載しましたが、ROMの抜き出し方法は
チームビルディングから始めよう！～UXデザイナーの定量×定性への取り組み方～#uxnama
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク
3分でサーバオペレーションコマンドを作る技術
#pyconjp 2015 の LTで発表した際に利用した資料です https://pycon.jp/2015/ja/schedule/presentation/93/
コマンドライン用スクリプトにもClean Architectureを適用する - KAYAC engineers' blog
Lobi事業部サービス基盤チームの長田です。 今回はコマンドラインから実行するスクリプトのはなしです。 オペレーション用のスクリプト どのプロジェクトにも、Webアプリケーションが実行するわけではなく、かと言って定期実行するわけでもない、 とはいえ管理画面にするまでもない小さなオペレーションがひとつやふたつや100個くらいあると思います。 スクリプトとして書いてしまうのは、たまにしか実行しないからとか、 管理画面としてつくるのがめんどくさい からかとか、そういうものが理由としてあげられるのではないでしょうか。 実際、手っ取り早く要求を満たせるのでスクリプトをホイホイ書きがちです。 課題 管理されていないスクリプトの山 Lobiはそこそこ運用年数が長いこともあって、このようなオペレーション用のスクリプトが 300 以上存在します。 中には(というか大半が)何に使うのかわからない古のスクリプト
pandas+matplotlibで世界時価総額トップ銘柄のアルファ値とベータ値をアニメ化する - Qiita
4-1. 前処理 csvファイルから株価情報を読みだして，daily-returnを計算します．本記記事では，Udacityで紹介された以下の関数1を使います． get_data(symbol)：symbolのCSVファイルから調整後終値を読みだして，pandas.DataFrame形式で出力する関数です． fill_missing_values(stock_data)：stock_data（pandas.DataFrame）の欠損を穴埋めする関数です． compute_daily_returns(stock_data)：stock_data（pandas.DataFrame）から，daily-returnを計算し，pandas.DataFrameで出力する関数です． 4-2. アニメ化 $\alpha$と$\beta$をアニメ化する関数を作りました．デフォルト設定では，2006年12月1
yohei-y:weblog: CAPのCとACIDのC
CAP 定理と BASE の概念を考えたのは UCB の Brewer 先生で、彼は inktomi の偉い人だったというのは前回述べた。 当時のinktomiはYahoo!や Microsoft、それにgooにも検索エンジンを提供していて、1億以上のWebページ(テラバイト級のデータ)を扱っていたようだ。 手元のWEB+DB PRESS Vol.49 のはてなブックマークリニューアル記事によると、現在のはてなブックマークは1160万URLと100GBのHTMLデータ(圧縮済み)を扱っているらしいので、ざっくりいって98年の時点でinktomi は現在のはてブの10倍のデータを扱っていたといってもいい。inktomiで使っていたコンピュータの性能は現在のPCサ ーバに比べれば1/10程度の性能なので、システム全体でみると現在のはてブの100倍の規模になるだろうか。 結果的には、inktom
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
