Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
Index API | Elasticsearch Guide [8.13] | Elastic
Adds a JSON document to the specified data stream or index and makes it searchable. If the target is an index and the document already exists, the request updates the document and increments its version. You cannot use the index API to send update requests for existing documents to a data stream. See Update documents in a data stream by query and Update or delete documents in a backing index.
![Index API | Elasticsearch Guide [8.13] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
MySQL InnoDBのIndex - Qiita
mysqlのInnoDBではclustered indexというのを採用していて、indexを貼る際に注意が必要ということでメモ 結論から言うと InnoDBでは... * Primary Key(以下PK)はできるかぎり設定して、できるかぎりauto_incrementの整数型が良い * PKの検索は速いが、secondary indexやcount(*)での検索は若干遅い * PKのupdateは避ける * 無闇やたらとsecondary indexを付けない * covering indexを狙えると速い かんたんに解説 図とか用意したかったけど気力がなかった。 indexの構造 InnoDBのインデックスではB-Treeというデータ構造が使われている。B-Treeの解説はwikipediaに任せる。 ツリー構造の一番下のリーフブロックに目的の行の物理的な位置が記録されている。ルート
MySQLの TEXT型の列に INDEXを付ける
► 2018 (1) ► 1月 (1) ► 2017 (4) ► 6月 (3) ► 5月 (1) ► 2016 (15) ► 12月 (4) ► 11月 (1) ► 10月 (2) ► 7月 (3) ► 6月 (1) ► 5月 (3) ► 1月 (1) ► 2015 (13) ► 12月 (1) ► 10月 (1) ► 9月 (1) ► 6月 (1) ► 5月 (1) ► 3月 (2) ► 2月 (3) ► 1月 (3) ► 2014 (11) ► 12月 (1) ► 9月 (2) ► 8月 (2) ► 6月 (1) ► 4月 (4) ► 2月 (1) ► 2013 (15) ► 12月 (3) ► 11月 (3) ► 8月 (2) ► 7月 (4) ► 5月 (1) ► 4月 (2) ► 2012 (7) ► 10月 (1) ► 7月 (1) ► 4月 (3) ► 1月 (2) ► 20
INDEX との資本提携及び株式譲渡契約の締結に関するお知らせ
2015 年 3 月吉日 アストロラボ株式会社（本社：東京都世田谷区、代表取締役CEO：日下 ヤスユキ、以下、「アストロラボ」）は、INDEX 株式会社（本社：東京都台東区、代表取締役：塚本 学、以下、「INDEX」）と資本提携及び株式譲渡契約を締結いたしましたので、下記の通りお知らせいたします。 ■アストロラボ株式会社 代表取締役CEO 日下 ヤスユキのコメント アストロラボは、大手企業向けエンタープライズ・ソリューションであるAstro Blasterシリーズの提供を増やすとともに、製品の信頼度を向上させることを目指しております。今回のINDEXとの提携は、アストロラボのビジネススピードを増幅する上でも非常に重要な布石です。INDEXの有する人材と弊社ソリューションとを掛け合わせることで、クライアント様に提供するサービスの質を高めていきます。 ■INDEX株式会社 代表取締役 塚本 学
モバイルコンテンツ・ゲーム事業 続報 元・ジャスダック上場 株式会社インデックス 再生手続き廃止決定受ける / 2014/05/02 大型倒産速報 | 帝国データバンク[TDB]
TDB企業コード：986753504 「東京」 既報、（株）インデックス（資本金393億7946万3930円、世田谷区池尻3-21-28、代表落合善美氏）は、4月30日に東京地裁より再生手続き廃止決定を受け、同日保全管理命令を受けた。今後、破産手続きに移行する予定。 保全管理人は長島良成弁護士（千代田区五番町5、電話03-5276-1321）。 当社は、1995年（平成7年）9月に設立。携帯電話などのコンテンツ企画制作を手がけ、2001年3月には店頭市場（現・ジャスダック）に株式を公開。その後は積極的なM＆Aで業容を急拡大し、2005年8月期の年収入高は約107億600万円を計上。2006年には会社分割で新設した子会社に事業を移管して、（株）インデックス・ホールディングスへ商号を変更。グループ持ち株会社となり、2008年8月期の連結年収入高は約1235億3500万円を計上していた。
WordPressのカテゴリはindexするべきかno indexするべきか？
先日のエントリーで、 WordPressのカテゴリページをindexするべきかno indexするべきか？ って話題がタイムライン上で少し賑わっています。 知らないと逆効果！WordPressプラグインでSEO対策したつもりの結果 僕の曖昧な記憶では確かGoogleのマットカッツ氏は WordPressのアーカイブは適切に処理するから気にしなくていいってコメントをどこかで見たのですが探しても見つかりません。知ってる方いませんか？ 先のエントリーではカテゴリをindexした方がSEO的に良いというニュアンスが誤解を与えたかもしれません。言いたかったのは「カテゴリーページ」自体がリンクの構築の仕方次第では強力なコンテンツになりうるので「no index」にしちゃうのは勿体ない。そしてそれを目指していた僕のアーカイブが「no index」になってた！という事が言いたかったのですが、どうもカテゴリ
Data structure - Wikipedia
A data structure known as a hash table. In computer science, a data structure is a data organization, and storage format that is usually chosen for efficient access to data.[1][2][3] More precisely, a data structure is a collection of data values, the relationships among them, and the functions or operations that can be applied to the data,[4] i.e., it is an algebraic structure about data. Data st
MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.1.15 CREATE INDEX ステートメント
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
MySQL の MEMORY(HEAP) ストレージエンジンを使うときは index_type に気をつけろ - @kyanny's blog
結論: MEMORY ストレージエンジンの index_type はデフォルトで HASH なので = or <=>演算子を使用する等価比較にのみ使用される。 >, >=, <, <=, BTWEEN を使うクエリでインデックスを使いたいときは USING BTREE をつけてインデックスを作ること。 MySQL 5.0.75 (やや古めかしい？）を使っていて、 MEMORY ストレージエンジンのテーブルに対して、 SELECT * FROM tbl WHERE col1 = 'val1' AND col2 <= 'val2';なんてクエリを実行したら妙に遅かった。 col1, col2 の順番で複合インデックスをはっているにもかかわらず。マニュアル読んだらちゃんと書いてありました。あんまり使う機会もないだろうけど（だからこそ？）メモ。 その名前からもわかるように、MEMORY テーブルは
インデックスの基礎知識
■ インデックスとは データベースの世界で、インデックス(索引)とはテーブルに格納されているデータを 高速に取り出す為の仕組みを意味します。 インデックスを適切に使用することによってSQL文の応答時間が劇的に改善 される可能性があります。 インデックスにはB-Treeインデックスをはじめ、ビットマップインデックス、 関数インデックスなどの種類がありますが、ここでは最も一般的に使われ、かつ ほとんどのDBMSでサポートされているB-Treeインデックスについて解説します。 ※ CREATE INDEX文でオプションを指定しない場合は通常B-Treeインデックスが 作成されます。 ■ B-Treeインデックスのしくみ B-Tree(Balanced Tree)インデックスは次のようなツリー状の構造になっています。 ツリーの先頭はヘッダブロックと呼ばれています。ヘッダブロックでは、キー値の 範囲
転置インデックス - Wikipedia
転置インデックス（てんちインデックス、Inverted index）とは、全文検索を行う対象となる文書群から単語の位置情報を格納するための索引構造をいう。転置索引、転置ファイル、逆引き索引などとも呼ばれる。 情報処理テクノロジにおける転置インデックスとは、単語や数字といった内容から、それが含まれているデータベースやドキュメント群へのマッピングを保持するという、インデックス型データ構造である。ドキュメント群へのマッピングの場合、検索エンジンが実現される。転置インデックスファイルは、インデックスというよりはデータベースと呼んだほうがふさわしい場合もある。また、検索キーが単語（文字列）であり、連想配列の値が位置情報である場合、ハッシュテーブルの形態を取ることもある。 転置インデックスには大きく分けて2通りの手法がある。レコード単位転置インデックス（record level inverted in
R木 - Wikipedia
2次元矩形のR木の例 R木（英: R-tree）は、B木に似た木構造のデータ構造であり、多次元情報（例えば、二次元座標データなど）のインデックス付け、すなわち空間インデックスに使われる。それは例えば、「現在位置から2km以内の全ての美術館を探す」といった用途に使われる。 R木は、階層的に入れ子になった相互に重なり合う最小外接矩形 (MBR) で空間を分割する。R木のRは矩形 (Rectangle) を意味する。 R木の各ノードのエントリ数は可変である（事前に定義された上限がある）。葉ノード以外の各エントリには2つのデータが格納される。1つは子ノードへの参照であり、もう1つはその子ノードの全エントリを囲む外接矩形のデータである。 挿入および削除のアルゴリズムはこれらの外接矩形を使い、近い要素が同じ葉ノードに属するようにする（特に、新たな要素を挿入する際に、どの最下層の外接矩形にも収まらない場
索引 - Wikipedia
索引（さくいん）とは、百科事典・学術書などの書籍や雑誌[1][2]・新聞[2]などの記事、統計[3]、コンピュータのデータやインターネット上のWorld Wide Webにおいて、特定の項目を素早く参照できるよう、見出し語を特定の配列に並べ、その所在をまとめたもの。（加えて凡例や相互参照、限定詞のあることもある。）コンピュータで用いられる際にはインデックス (index (pl. indice))と呼ばれることもある。 インターネット上のWorld Wide Webの索引集のことを、ウェブディレクトリという。 書籍の索引[編集] 単一の書籍の索引は、その本の末尾に掲載されることが多い。一方、数十巻におよぶ百科事典や全集の索引は、それだけで1巻分を占めることも多く、総索引あるいは総合索引などと呼ばれる。 その歴史は活版印刷の普及に伴って始まり、目次(table of contents)を巻頭
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのレコードが何行くらいが限界か知るよりパフォーマンス上げる方が建設的
https://blogs.oracle.com/mysql/post/json-labs-release-effective-functional-indexes-in-innodb/
http://www.minituku.net/drills/599311601/questions/251712813/result?choice=923624184&locale=ja
http://www.minituku.net/drills/599311601/questions/920415626/result?choice=170127401&locale=ja
http://www.minituku.net/drills/599311601/questions/1063920035/result?choice=739705664&locale=ja
:日本経済新聞
