MySQLでもULIDを発行した〜い！ので検証してみた - LayerX エンジニアブログ
どうもみなさんはじめまして、2023年3月入社の id:convto です。 7月はLayerXエンジニアブログを活発にしよう月間 ということらしく、その一環で個人的に調査・検討していた内容で一本書いたろうかなということで筆を取らせていただきました。 ちょっと遅刻しちゃいましたが許してください。 モチベーション ULIDはmsec単位でsort可能な性質を持っていて、かつ多くのユースケースにとって十分な採番能力をもっているIDです。 ですが、たとえばDML実行などでSQLから生成できなくて困る場合があります。 ULIDはすこし特徴のあるencodingを使っていたりする都合でDMLでの生成が難しく、素直にやるとアプリケーション側でID生成処理を書く必要があります。なんとかならないかといろいろとやり方を検討したかたもいらっしゃるのではないでしょうか。(N敗) そこで、SQL経由でのULID生
Amazon Auroraの障害テストを試してみた。 | DevelopersIO
こんばんは、城内です。 最近、3歳半になる娘が『ちいさなプリンセス ソフィア』を観るようになって、急に妙なリーダーシップを発揮するようになりました。 両親共にそんな気質は持ち合わせていないので、どんな成長を遂げるのかちょっと不安です。。 といったどうでもいいプライベートな近況報告を織り交ぜながら、引き続き先日東京リージョンに上陸したAmazon Auroraを触っていきたいと思います。 はじめに 今回は、Auroraの障害テストを実施してみたいと思います。Auroraでシミュレーションできる障害は以下の4つです。 インスタンスのクラッシュ レプリカの障害 ディスクの障害 ディスクの輻輳 上記の内、インスタンスとレプリカ、ディスクの障害テストを試してみたいと思います。 （ディスクの輻輳は、ディスクの障害をやるからまいっか的なノリで外しましたw） 試してみる では、早速1つずつどんな挙動をする
第97回 JOIN_ORDERを使ってJOINの順番を決める | gihyo.jp
MySQL 5.7とそれ以前では、テーブルの結合を実施する際に、INNER JOINの場合はSTRAIGHT_JOINを利用し結合することで、テーブルのなかで先に読み取りを行うテーブルを決めることができました。最新バージョンのMySQL 8.0からは、Join-Order オプティマイザヒント句を用いてJOINする順番を決めることができるようになりました。 今回は、従来のSTRAIGHT_JOINとJoin-Order オプティマイザヒント句の使い方を確認していきたいとおもいます。なお、使用しているMySQLは8.0.15,OSはCentOS7を利用しています。 STRAIGHT_JOIN STRAIGHT_JOINは、JOINを行う際に対象のテーブルの駆動表を固定したいときに使われる構文です。STRAIGHT_JOINを用いてJOINを行うと、先に出てきたテーブルを駆動表として扱い、IN
【ひたすら図で説明】一番やさしい SQL window 関数（分析関数） の使い方 | 初心者DIYプログラミング入門
PostgreSQL、MySQL、SQLite など、主なデータベースには Window 関数なるものが備わっており、日付や値の大小で並んだデータに対して、１つ前の値との差分を計算したり、累積値を求めるようなことが簡単に出来るようになっています。 ただ、Window 関数を始めて使う人にとっては、パーティションといった考え方に戸惑うことも多いのではないかと思います。 そこで、この記事では、その肝となるパーティションの考え方をやさしく解説し、Windows関数の使い方について理解して頂くといった内容になっています。 SQLのWindow関数とは 何らかの条件で並んでいるデータに対して、特定の範囲のデータのみ参照できるようにする機能が用意されており、これをWindowと呼んでいます。 ちょうど窓を開けて全体の中の一部を覗くようなイメージでです。 そして、このWindowに対して、最大、最小、合
世界一わかりやすい FULLTEXT INDEX の説明と気を付けるべきポイント
FULLTEXT INDEX とは インデックス（索引）は、データベースの性能を向上させる方法の一つです。 しかし、通常のIndex では text ベースのカラム(CHAR型、VARCHAR型、TEXT型) から特定の文字列を検索する全文検索には向いていません。 それは、通常のIndex はカラムの値の一部ではなく、値全体に対する検索に最適化されているからです。 そのため、全文検索 (カラムの値の一部が一致している結果を取得) するには、別のインデックス FULLTEXT INDEX が必要です。 MySQL で FULLTEXT INDEX を利用するには MATCH 関数(*1)を利用する必要があります。 通常の LIKE 検索では、FULLTEXTIndex が利用されないため、速度的に不利です。(*2) (*1 DBMSによって様々、MS SQL では CONTAIN 関数を利用
MySQLでWebサービスを止めずに、その裏のバッチ処理で大量にデータを洗い替える。 - Qiita
Oracleでよく使っているやり方なのですが、mysqlでもできることが最近分かったので書くことにしました。 具体的には、テーブルのパーティション化に関することです。mysqlのバージョン5.5では、テーブルをパーティション化するまではできたのですが、EXCHANGE PARTITIONが使えませんでした。バージョン5.6から使えることを最近知ったのがきっかけです。 "EXCHANGE PARTITION"とかでググれば、要素技術は拾えるのですが、実際下記のような局面を想定した使い方を解説しているものが拾えなかったので、参考になれば幸いです。 よく使う局面 よく使うのが「Webオンラインサービスを止めずに、その裏のバッチ処理で大量にデータを洗い替えたい。」というような局面です。 もう少しイメージアップのための具体例をあげると、 (1).Webで在庫販売を行うシステムを構築する。 (2).W
再現性のあるスロークエリーには「SHOW PROFILE」を試してみよう
MySQLの組み込みプロファイラー SHOW PROFILEステートメントはMySQLサーバー組み込みのプロファイラーから情報を取り出すためのステートメントです。細かいことを言と、これが利用可能かどうかはビルドオプション（cmake -DENABLED_PROFILING=ON）で決まりますが、少なくともOracleが配布しているバイナリーではこのオプションが有効な状態でビルドされているため、ほとんどの環境で利用できるでしょう。 プロファイラーというと小難しく思えますが、「そのクエリーが実行されていた期間、どのStatus（SHOW PROCESSLISTで"State"と表示されているもの）にどのくらいの時間かかったか」を表示してくれるもので、セッション単位でオンラインに有効・無効を切り替えられるため、身構える必要は全くありません。まずはその内容を確認するため、試しに具体的なステートメン
MySQL EXPLAINのそれぞれの項目についての覚書 - Qiita
id/select_type/table どのテーブルがどの順番でアクセスされているか id 実行順番を表す 数字が同じなら複数のクエリが１つのクエリとして実行されている select_typeの詳細 SIMPLE 単一のテーブル サブクエリが絡む場合 PRIMARY 外部クエリ SUBQUERY 相関関係の無いサブクエリ DEPENDENT SUBQUERY 相関関係のあるサブクエリ UNCACHEABLE SUBQUERY 実行する度に結果が変わる可能性のあるサブクエリ DERIVED FROM句で用いられているサブクエリ table 対象テーブルの名称 partition どのpartisionテーブルを使用したか 複数にまたがる時は複数の値が表示される type レコードアクセスタイプ typeの詳細 const pk or uniqueインデックスを使用したルックアップによるアク
MySQLのEXPLAIN - Qiita
クエリを最適化するということは、 ・書き換える前と後でクエリの実行結果が同じになる ・EXPLAINがよりよい実行結果を表示する クエリの実行計画を調べるためには、 SELECT文の先頭に「EXPLAIN」をつけて実行する フィールド id/select_type クエリの種類を表すもの。 クエリの種類とはJOIN、サブクエリ、UNIONおよびそれらの組み合わせのことで、 select_typeの内容もその組み合わせから導き出されたものである。 JOINの場合 MySQLが実行できるJOINの種類は「Nested Look Join(NLJ)」の一種類しかない。 テーブルを一つずつ順に処理していく方式のこと。 クエリがJOINだけから構成される場合、select_typeは「SIMPLE」と表示される。 SIMPLEではidが全て同じ値になる。 EXPLAINの出力の順序がどのテーブルから
MySQLでGISデータを扱う - Qiita
こんにちは。@onunuです。本記事はMySQL casual AdventCalendar 17日目の記事です。 本記事ではMySQL8で大幅に強化されたGISデータ周りのtipsについて触れたいと思います。ある程度尽くされた話題ではありますが、主にアップデートされた機能について言及していこうと思います。みなさまの快適なMySQLライフの一助になれば幸いです。 なお、各所にある例や参考のクエリは以下の環境で確認しています。 また記事の内容に誤りがございましたら、コメント欄かTwitterなどのDMにてご教示いただけますと幸いです。 GISデータとMySQL MySQLにおけるGISデータ GIS(Geographic Information System)とは地理情報や空間に関するデータをコンピュータ上で取り扱うためのシステムをさします。MySQLはOGC(Open Geospatial
AnsibleでMySQLをインストールする。 - sgykfjsm.github.com
AWSなんかを使ってると、イチからMySQLなどの基本的なミドルウェアをセットアップすることは減ってくる。そんな中、AnsibleでMySQLをインストールする事になったのだけど、意外と忘れてたりAnsibleで作業するのと手作業で進めることの差異でちょっと詰まったりしたので、ここに備忘しておく。 大まかな手順 最新安定版(MySQL5.6)をインストールするためのリポジトリを設定する。 リポジトリ軽油でインストールする。 初期セットアップを行なう。 rootのパスワード初期化 mysql_secure_installationによるMySQLの初期化 諸々の設定 たったこれだけなんだけど、Ansibleでこれらの作業を実装するのはちょっと面倒。というのも、mysql_secure_installationはコマンドを実行すると対話的に処理を進めることになるが、これをAnsibleで実行す
フレクトのクラウドBlog: EC2でEBS上のMySQLのデータをバックアップ
こんにちは。フレクトの大橋です。 ベターホームレシピ(http://bhmb.jp)では、MySQLを会員やレシピデータ用の インスタンスと、Cicindela用のインスタンスを同一のサーバにそれぞれ データをEBSに置いて運用しています。 レプリケーションなど信頼性向上のための施策をしているのですが、 運用上大事なのはバックアップです。 そこで、今日はEBS上のMySQLのデータのスナップショットを 整合性を失わずにバックアップする方法についてベターホームレシピでの 実運用の事例をもとに紹介します。 ■ 本題の前に・・・、Amazon RDSについて そもそも直接MySQLをEC2上にインストールしなくても、日々機能が強化されている Amazon RDSを使えばよいのではないか、という考えもあります。はい、その通りです。 特に最近はMulti-AZ機能なども提供され、安心感があります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mysqldump で出力した tsvを Redshift に import - Qiita
2大OSSデータベースのMySQLとPostgreSQLの違い(前半)