explainだけじゃわからない！MySQLのindexの考え方 - BASEプロダクトチームブログ
はじめに こんにちは、バックエンドエンジニアのSakiです！バックエンドでPHPを書いたり、PHPという言語そのもののメンテナーもしています。 この度、注文データダウンロードAppのパフォーマンスをアップさせるため、とても入念にデータベースまわりの処理を見直しました。その中でも特に速度に関わってくる「index」についての考え方をまとめたいと思います。 この記事はMySQL（InnoDB）についての記事であり、他のRDBについては当てはまらない場合もあるということにご注意ください。 indexとは何か、おさらい ご存知の方ももちろん多いと思いますが、indexについておさらいさせてください。 indexとは辞書でいうところの目次に相当するもので、目的のデータをいち早く検索するために重要なものです。もし辞書に目次が存在しなかった場合、目的の情報を探すのにとても苦労するだろうというのは想像しや
【Mac】ファイルは確かに存在するのにSpotlightから検索できない時の解決法（インデックスの再構築方法）
Macを使っていて、アプリや書類などをSpotlight検索する際、 「ファイルは絶対の絶対に存在しているのに検索結果に表示されない！」 …という時の解決方法の解説です。 原因は、「Spotlightのインデックスの不具合」で、このインデックスを再構築すると問題は解決します。 また、Spotlightを検索する時に、「索引作成中…」と、いつになっても終わらない時にも有効です。 解決法は、「ターミナルから行う方法」と、「Spotlight設定から行う方法の２種類あります。
Javascript forEach() で setTimeout が効かない時
setTimeout()で処理を停止することができますが、ループ内でそのまま突っ込んでもほぼ同時に実行します。 array.forEach((value, index) => { setTimeout(() => { console.log('5秒ごとに実行') }, 5000); }); これだとforEach()が一気に回る -> 全てのコードを5秒後に実行するだけです。 index 番号を使う forEach()のコールバックの第二引数はループしている要素のインデックス番号が渡されるので、その分をsetTimeout()の第二引数に掛け合わせれば、0秒、5秒、10秒…後に実行されます。 array.forEach((value, index) => { setTimeout(() => { console.log('5秒ごとに実行') }, 5000 * index); });
Apache Arrowの統計情報を使ったログ検索の爆速化 - KaiGaiの俺メモ
PostgreSQLにはBRINインデックス（Block Range Index）という機能があり、ログデータに付属するタイムスタンプ値など、近しい値を持ったデータが物理的に近接するという特徴を持っているとき、検索範囲を効率的に絞り込むために使用する事ができる。 この機能はPG-Stromでも対応しており、その詳細は以前のエントリでも解説している。 kaigai.hatenablog.com かいつまんで説明すると、時系列のログデータのように大半が追記（Insert-Only）であり、かつタイムスタンプ値のように近しい値同士が近接している場合、1MBのブロック((pages_per_rangeがデフォルトの128の場合、8kB * 128 = 1MB))ごとにその最小値／最大値を記録しておくことで『明らかに検索条件にマッチしない範囲』を読み飛ばす事ができる。 例えば以下の例であれば、WHE
haskellでちょっとした処理のメモ - MEMOcho-
久しぶりにhaskellを触ったので、その際に調べたtips的な処理についてメモ リストのslice https://stackoverflow.com/questions/4597820/does-haskell-have-list-slices-i-e-python slice :: Int -> Int -> [a] -> [a] slice from to xs = take (to - from + 1) (drop from xs) リストから最大値を持つindexを取得(argmax) https://stackoverflow.com/questions/14550458/find-max-element-and-index-of-a-list-in-haskell/56056069 import Data.List import Data.Ord maximumBy (c
Python: pandas の DataFrame, Series, Index を拡張する - CUBE SUGAR CONTAINER
Python でデータ分析をするときに、ほぼ必ずといって良いほど使われるパッケージとして pandas がある。 そのままでも便利な pandas だけど、代表的なオブジェクトの DataFrame, Series, Index には実は独自の拡張を加えることもできる。 これがなかなか面白いので、今回はその機能について紹介してみる。 ただし、あらかじめ断っておくと注意点もある。 独自の拡張を加えると、本来は存在しないメソッドやプロパティがオブジェクトに生えることになる。 そのため、便利だからといってこの機能を使いすぎると、コードの可読性が低下する恐れもある。 使うなら、後から別の人がコードを読むときにも困らないようにしたい。 具体的には、使用するにしても最小限に留めたり、あるいはパッケージ化やドキュメント化をしておくことが挙げられる。 今回使った環境は次の通り。 $ sw_vers Pro
「超低コスト」の投資信託に乗り換えるとコストがちょっとだけ改善
こんばんは。 今日は特にやることもなくゆったりと過ごしていました。このゴールデンウィーク中に一つやりたいと思っていることがあるんですが、積立投資信託のポートフォリオの見直しです。毎月コツコツの積み立てを開始して３年目を迎えますが、一度も保有銘柄を変更しないでほったらかしで来ました。先日雑誌で読んだのですが、投資信託も手数料等の安い銘柄も続々と出ているようですね。 diamond 新たに買う場合は、当然なるべく信託報酬が低いものを選ぶべきだが、注意すべきは高コストの古いインデックス型の投資信託を持っている場合だ。そうした人は、低コストの投資信託に乗り換えよう。0.1ポイント程度の差なら運用成績にさほどの影響はないが、0.3～0.4ポイントともなれば、目に見えて違ってくる。 見事に自分に当てはまっていますね。ほったらかしにしていただけなので、いい機会ですのでちょっと確認をしてみました。 投資信
SQLのインデックスとそのチューニングについてのオンラインブック
開発者向けのSQLインデックス解説サイト、管理についての間違いない知識を提供します。 インデックスは開発時には忘れられがちである一方で、非常に効果的なSQLのチューニング方法です。Use The Index, Lukeでは、HibernateなどのORMツールの解説にとどまらず、SQLのインデックスについて基礎から説明します。 Use The Index, LukeはSQLパフォーマンス詳解のWeb上の無料版です。サイトを気に入って頂けたら、ぜひ書籍も購入してみて下さい。また、このサイトの運営をサポートする様々なグッズも販売しています。 MySQL、Oracle、SQL ServerなどにおけるSQLのインデックスUse The Index, Lukeでは、ベンダにとらわれないインデックスの説明を心がけています。製品特有の事柄については、以下のような表示をしています。 DB2Use The
Pandasの辞書的使い方 - 西尾泰和のScrapbox
PandasでNameとValueというカラムのあるCSVを読み込んで、「Nameが特定の値の時のValueを知りたい」という場合。なおNameは一意だとする。
array_mergeと「+」による配列の加算の違い【PHP】 - Programming Magic
PHPでは２つの配列を合わせるのに、「+」演算子で行う方法とarray_merge関数で行う方法がある。 ２つの方法は全く同じ動作をするわけではなく、いくつかの違いがある。 例えば、以下のような２つの配列があるとする。 $array[0] = array( 1 => '伊藤博文' 2 => '黒田清隆' 3 => '山縣有朋' '?' => '小渕恵三(1)' ) $array[1] = array( '?' => '小渕恵三(2)', 85 => '森喜朗', 87 => '小泉純一郎', 90 => '安倍晋三', ) このデータを+演算子で加算をすると以下のような結果が得られる。 print_r($array[0] + $array[1]); Array ( [1] => 伊藤博文 [2] => 黒田清隆 [3] => 山縣有朋 [?] => 小渕恵三(1) [85] => 森喜朗
MYSQL INDEXのまとめ - Y's note
概要 大規模なデータを管理するためのMYSQL-INDEXについて必要な情報をまとめてみます PRIMARYKEY / UNIQKEY / INDEXについて PRIMARYKEYとはそのテーブル内において重複が許されないもので、自動的にINDEXが張られる。 UNIQKEYとはそのテーブル内に置いて重複を許さない。ただし、NOT NULLにしなければNULLの重複は認める。 INDEXとは特定の値を持つレコードを高速に検索するための木構造データ。INDEXを張らないとテーブル全体のデータを検索してしまう。最適化されたINDEXを利用するとテーブルデータを全く参照せずにデータを返却できる。 まとめるとPRIMARYKEY = UNIQKEY + INDEX 複合INDEXについて 複数のカラムに対してのINDEXを作成する事。単一のINDEXより高速な検索ができる。 複合INDEXを利用す
世界分散INDEX投資作戦
世界分散INDEX投資作戦 by ゲリラ1号 2002年8月31日 RETURN to ユキカゼ UP 目次 1. はじめに 2. INDEXとは 3. 背景と理由 4. 理論武装 5. 投資信託 6. ETF 7. 投資戦略 8. リンク集 9. 課題 10. 感想 1. はじめに 国や企業が個人の幸せな未来を約束してくれた｢日本型社会主義」の時代は終わってしまいました。預貯金にはジョークのような金利しかつきません。デフレの時代といわれますが金融資産を食い荒らすインフレが忍び寄りつつあるようにも思えます。 個人のレベルで資本主義にモードシフトしてその果実を受け取るにはどうすればよいか、考えてみました。 <<< 注意： ここの内容は参考として扱ってください。投資は自分で調べたうえで、自己責任です。 >>> 2. INDEXとは
個人投資家のためのインデックス・ファンド
日本から、海外証券口座FIRSTRADE（ファーストレード）への送金方法ですが、私はロイズTSB銀行 東京支店の「Goロイズ海外送金サービス」を利用しています。 最初にこちらの銀行で海外送金用の口座を開設し、次回からそこ宛てに送金すると、予め登録してある海外口座に、ドルに両替した上で送金される仕組みです。 ■銀行の概要 ロイズTSB銀行東京支店 英国のロイズTSB銀行の日本支社。本店のロイズTSB銀行は、創業から200年以上もの歴史を誇り、米国の格付け機関｢ムーディーズ｣の長期預金格付けでは最上級の｢Aaa｣を与えられています。東京支店は1973年に開設され、国際金融・貿易金融業務、外国為替業務、外貨預金・海外送金業務などを行っています。 ■海外送金サービスの特徴 ・すべてオンライン＆郵送で手続きできる ・日本の銀行から円貨で振込みをするだけで海外送金できる ・送金先の海外
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
図解 DB インデックス
GitHub - ikreymer/cdx-index-client: A command-line tool for using CommonCrawl Index API at http://index.commoncrawl.org/
how to ignore index comparison for pandas assert frame equal
Rubyの配列の最大値の位置の返し方
梅屋敷商店街のランダム・ウォーカー（インデックス投資実践記）