はてなブックマーク

SYSスキーマの説明をする機会があったので、改めてMySQL5.7.21でSYSスキーマに関しての概要をまとめたのでご紹介。 Performance_Schema, Information_Schemaを直接確認しないと取得出来無い情報もまだあるけれど、SYSスキーマを利用すれば簡単にMySQLの状態を確認出来、複雑なクエリーを使わないでもロックの状態、メモリーの状態、未使用のインデックス、起動してからの累積値だけれども遅いクエリー等が確認可能です。まだまだ使われていないユーザーも多いけど、便利なので是非活用下さい。 MySQL5.7.21の時点では以下のオブジェクトが存在します。 root@localhost [sys]> select * from schema_object_overview where db = 'sys'; +-----+---------------+-----

一般にテーブルの更新は SELECT より重要だと見なされるため、 テーブルを更新するステートメントはすべて、テーブルから情報を取り出す ステートメントより優先度が高くなります。これにより、更新では特定の テーブルに対して大量の重いクエリが使用されるため、更新が ‘資源枯渇’ にさらされないことが確実になります（これは、更新を実行する ステートメントを LOW_PRIORITY とともに使用するか、 SELECT ステートメントとともに HIGH_PRIORITY を使用することで変更できます）。 InnoDB テーブルと BDB テーブルの場合は、MySQL で LOCK TABLES によって 明示的テーブルをロックした場合のみテーブルロックが使用されます。 InnoDB は自動行レベルロックを使用し、BDB はページレベルロックを使用して トランザクションの独立を確実にするため、これ

Toddさんのブログにも書いてありますが、MySQL5.7.7からMySQL Proxy Userを利用する事により、 特定のアクセス権限を纏めて、管理する事が出来るようになりました。 複数ユーザー権限をまとめて管理出来るような、ROLEの様な機能になります。 Emulating roles with expanded proxy user 主なメリットとしては、Proxy User(Role)に権限を纏めて付与して、 それぞれの個人アカウントにProxy Userの権限を付与する事により、個別のアカウントに権限を付与しなくても、 まとめて権限管理が出来るので権限付与漏れが無くなる、個別権限付与の手間が省ける、それぞれが個別にアカウントを 継続利用可能なので、共通アカウントを利用しなくても良いのでセキュリティ上管理し易いと言った事が考えられます。 反対に、もし間違えてProxyユーザーから

DBの管理をしていると、日付を指定してデータを取得する事が多々あります。 MS SQLの時は、CAST, CONVERTなどで日付を成形して指定された日付のデータ を取得しておりましたが、MYSQLではこのDATE_FORMAT()やTIME_FORMAT() を利用すると比較的簡単にデータの操作が出来ます。 —————————————————————————————————— 日付関数の使用例を次に示します。このクエリでは、過去 30 日以内の日付の date_col 値を持つすべてのレコードが選択されます。 mysql> SELECT something FROM tbl_name WHERE TO_DAYS(NOW()) – TO_DAYS(date_col) <= 30; -------------------------------------------------------

MySQL5.7から実装された、マルチソースレプリケーションに関しての質問も少しずつ増えてきたので、改めて基本的な挙動をこちらに纏めました。 基本的には、通常のレプリケーションの挙動と変わりませんが、CHANNELに分けて1台のスレーブが複数マスターからのログを受け取るので、運用上、気を付けないといけない部分が増えてくるので、リカバリー含むPOCはしておいた方が安心です。 ■ マスター側の設定（複数マスターサーバー全体でサーバーID以外は同じ) ※　マスター側は通常のレプリケーションの設定をしています。(サーバーID, バイナリーログ等) ※　ログポジションベース、GTIDモードどちらも可能ですが、今回はGTIDで設定しています。 ※　Masterに予めスレーブ用のアカウントを作成済み。 Optionﾌｧｲﾙに設定した方が良いですが検証なので、動的に設定しています。 MySQL8.0ではこ

MySQL8.0がDockerリポジトリーで提供されているので、Dockerに8.0のイメージをダウンロードしてインストールしてみました。 同時にMySQL8.0の新機能確認として、動的にGlobal Variablesを変更して永続化出来るか？また、データディクショナリの状況も確認してみました。 ■ DockerレポジトリーとイメージTag https://hub.docker.com/r/mysql/mysql-server/ https://hub.docker.com/r/mysql/mysql-server/tags/ MySQL8.0 Dockerイメージダウンロード～起動まで [root@DockerHost oracle]# docker pull mysql/mysql-server:8.0 8.0: Pulling from mysql/mysql-server 7f3

MySQL Clusterの検証をIBM(Softlayer)さん、株式会社インフィニットループさんと共同で行って、 結果を先日のCEDECで発表した時の資料です。インフィニットループさんがOpenSourceのゲームで検証してくれているので、内容的には参考になるかと思います。 1． MySQL Clusterを稼働させるにはネットワークが非常に重要 2． MySQL Clusterを稼働させる場合、仮想環境のCommit Ratioがコントロール出来ない場合はベアメタルが良い。 3. 仮想、ベアメタル共にSSDを利用していてもISCSIよりもやはりローカルの方が断然良い。 4. MaxNoOfExecutionThreadsより、ThreadConfigで丁寧に調整した方がパフォーマンス良い（この検証では1.2倍） 5. 今回のSYSBENCH0.5での検証では、データの偏りがあったので

10月19日にMySQL5.7がGAになったので、新規追加されたJSONデータ型の確認を行いました。 JSONはXMLと同じように、スマートフォンアプリ用のAPIやB2BやB2C連携でJSON APIが多く使われているようです。 基本的な動作検証 1. 基本的な構文バリデーション機能 2. JSONデータ型とTEXT型のパフォーマンス差 3. JSONとGenerated Columnの連携によるインデックス利用とパフォーマンス 4. JSONドキュメントの部分アップデート ちなみに、ザックリとGoogleで検索してみると以下のように多くのサイトがJSON用のAPIを提供していました。 Twitter https://dev.twitter.com/rest/reference/get/statuses/user_timeline 原子力規制委員会 http://radioactivity

先日、リリースされたMySQL5.7.12に含まれるmysqlxプラグインと、 同時にリリースされた、MySQL Shellの初期設定と基本動作確認を確認してみました。 基本的にこれらは、MySQL5.7で追加されたJSONデータ型を含むスキーマレスなドキュメントデータを、 mysqlxプラグインを利用する事でより柔軟に処理出来るようにする為に追加され、 MySQLをドキュメントデータベースとしてより利用し易くする為に追加された機能となっています。 MySQL Shellは、MySQLサーバの開発と管理をサポートする、 JavaScript、Python、SQLの対話型のインタフェースをサポートするMySQLの新しいコンポーネント。 データのクエリと更新処理だけでなく、様々な管理操作を実行する為にMySQLのシェルを使用することができます。 ※MySQL Shellを利用する為には、事前に

最近、MySQL5.7の形態素解析エンジンのmecabに関して辞書をカスタマイズ出来るかどうか 聞かれる事が増えた為、mecabの辞書をカスタマイズしてきちんと動作確認してみました。 結論としては、問題無くカスタマイズした辞書も利用出来るようです。 但し、MySQLのマニュアルページを見る限り、MySQL Binaryから提供されているmecab辞書の利用を推奨しているようです。 【以下、抜粋】 Installing MeCab From Source (Optional) https://dev.mysql.com/doc/refman/5.7/en/fulltext-search-mecab.html The mecab and mecab-ipadic packages distributed with the MySQL binary are recommended but if

レプリケーションフレームワークのMySQL Fabricについては、昨年概要をブログに書いたので本日は、 MySQL FabricをMySQL Routerの連携による可用性や柔軟なスケールアウト方法について確認して見ます。 MySQL Fabricは便利なフレームワークですが、Fabric対応コネクターを利用しないと利用出来ず、 アプリケーションの書き換え労力が必要な為、あまりまだ広まっていませんでしたが、 MySQL Routerのリリースにより今後利用されるケースも増えてくるかと思います。 1. 障害発生時にマスターとスレーブ（新マスター）を自動切り替えし、アプリケーション接続変更は必要が無い。 2. アクセスが増えSlaveサーバーを追加した場合に、アプリケーションを変更せずに動的に新Slaveは参照用Round-Robinに追加される。 3. その他、サーバー入れ替え等のメンテナ

MySQL5.7において、JSON(JavaScript Object Notation)がサポートされていて、 様々な言語やアプリ間で、より簡単にデータの受け渡しが行えるようになりました。 ドキュメントをJSONフォーマットでデータベースに保存して、 様々なアプリケーションから呼び出して利用出来るなど、 汎用性と運用面での活用が出来るようになっています。 1) ネイティブのJSONデータ型 効率的なデータ処理と保管にネイティブ内部バイナリ形式をサポート。 2) 組み込みJSONファンクション 効率よくドキュメントを保存,検索,更新,操作する事を可能にします。 3) JSON コンパレーター 文書データを容易にSQLクエリと統合することが可能 4) Generated Columnsを利用し、ドキュメントにインデックスを利用する事が可能。 新しいアナライザーは,自動的に利用可能で最適な機能

MySQL5.7.7RCの次のリリース、MySQL5.7.8が8月3日にリリースされました。 多くの機能追加や変更が行われています。RCの次のリリースですが、GAでは無いのでRC2という事になるかと思います。 RCにしては、少々機能追加が多いかと思いますが、色々と便利な機能が追加されています。 詳細は、以下のURLを参照下さい。 Changes in MySQL 5.7.8 (2015-08-03) http://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-8.html ————————————— Backup Notes Configuration Notes JSON Notes Optimizer Notes Packaging Notes Performance Schema Notes Plugin Notes Securit

MySQL5.7にてレプリケーションに新たなオプションが加わったので、 ここで軽くご紹介させて頂きます。 今回は、以下の2点のみ検証してみました。 1. マルチスレッドスレーブ(同一スキーマ） – 全体的なパフォーマンス次第ですが、トランザクションを並列して実行可能。 レプリケーションのパフォーマンスが向上します。 2. 動的フィルタリング – オンライン処理増えると、メンテンナンス時間の制限が減らせてますね。 検証、MySQL Version root@localhost [REPLI]> select @@version; +--------------+ | @@version | +--------------+ | 5.7.7-rc-log | +--------------+ 以下は、また時間見てご紹介させて頂きます。 ■ SEMI-SYNC（準同期)に関しては、Loss-Le

MySQL5.6ではinnodb_file_per_tableがDefaultでテーブル毎にテーブルスペース（ファイル）が作成されますが、MySQL5.7.6 DMRからは、CREATE TABLESPACEステートメントによって、 複数テーブルで共有出来るテーブルスペースが作成出来るようになりました。また、Defaultデータディレクトリーとは別のパスにテーブルスペースを作成出来るので、 負荷が高いテーブルなどをSSDなどに配置するなど柔軟に対応することが可能になります。Oracle（テーブルスペース）やMS SQL（ファイルグループ）に関しては、 以前から同様に指定出来ますが、オープンソースデータベースのMySQLは5.7になり、更にそれらの商用データベースと同様の機能も利用出来る汎用性を備えたデータベースになってきました。 MySQL5.7はまだ5.7.7RCですが、更に新たな機能が

MySQLの実行プランのベースとなるデータ確認 -found_records: total amount of read records. -read_time: assumption of total disk access times. ■ テーブルの情報 mysql> show table status like 'language'\G *************************** 1. row *************************** Name: language Engine: InnoDB Version: 10 Row_format: Compact Rows: 3560363 (found_recordsの値) Avg_row_length: 51 Data_length: 183156736 (rad_time=Data_Length/16KB)

MYSQL5.5から利用出来る以下のOptionを検証してみました。 --dump-slave --apply-slave-statements --include-master-host-port 前回はマスターで取得したデータはマスターのバイナリーログでリカバリー、 スレーブで取得したバックアップはスレーブのバイナリーログでリカバリーするように –master-data=2オプションを付与してバックアップしてリカバリーを検証。 MYSQLDUMPを利用したオンラインバックアップと差分ログ適用 MYSQL5.5から追加されたdump-slaveオプションを利用すると、 追加のスレーブ作成が簡単に出来ます。（STOP SLAVE　～　START SLAVEコマンドも含まれます。） 先ずはSlaveデータベースにてレプリケーション対象のDBをバックアップします。 [root@HOME002

MYSQLの運用・管理ツール検証 Percona Toolkit 最新版のPercona Toolkitをダウンロード http://www.percona.com/downloads/percona-toolkit/LATEST/ [root@HOME001 mysql]# wget http://www.percona.com/redir/downloads/percona-toolkit/LATEST/percona-toolkit-2.1.8.tar.gz --2013-01-31 14:03:47-- http://www.percona.com/redir/downloads/percona-toolkit/LATEST/percona-toolkit-2.1.8.tar.gz www.percona.com をDNSに問いあわせています... 74.121.199.234 w

MYSQLDUMPを利用する時のOPTION確認とDUMPした後にバイナリーログを適用して、 最新のデータをリカバリーする方法の再確認。 以下のようなOPTIONでDB全体の整合性とバイナリーログのロールフォワードに必要なデータをダンプする。 –master-dataオプションと対象ロック mysqldump --lock-all-tables --flush-logs --master-data=2 --databases test > DB_DUMP.sql -u root -p mysqldump --single-transaction --flush-logs --master-data=2 --databases test > DB_DUMP.sql -u root -p –lock-all-tablesと–single-transactionは同時に利用する事が出来ません。H

Prepared statementはステートメントを一度定義して、それを何回も違う引数で実行するものです。 これはセキュリティを増しなおかつ効率のよい方法で、アドホックなクエリのストリングに置き換わるものです。 SELECT * FROM Country WHERE code = ? 「?」はいわゆる場所とりです。上のクエリを実行するときはこの場所に値がいります。 「?」は必須ではありません。 Prepared statementはSQL のロジックとデータを分離することでセキュリティを増加します。 ロジックとデータを分離することで、SQLインジェクション攻撃を回避することができます。 通常のクエリを扱っている場合、ユーザから受け取ったデータを処理するには注意が必要です。 これはシングル・クオート、ダブル・クオート、バックスラッシュなどの文字をエスケープする関数を 使用することに関係しま

InnoDB_Pluginについて 13.6. The InnoDB Storage Engineからの抜粋 At the 2008 MySQL User Conference, Innobase announced availability of an InnoDB Plugin for MySQL. This plugin for MySQL exploits the “pluggable storage engine” architecture of MySQL. The InnoDB Plugin is included in MySQL 5.5 releases as the built-in version of InnoDB. The version of the InnoDB Plugin is 1.0.6 as of MySQL 5.5.1 and is consider

コンテンツへスキップ image-43 by afaik 投稿日: 10月 27, 2022 返信がありません コメントを残す コメントをキャンセルメールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です コメント ※ 名前 ※ メール ※ サイト 次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。 上に表示された文字を入力してください。 検索検索最近の投稿Image Analyze by using Amazon Bedrock Bedrock with Amazon Aurora SQL Profiling処理について OPTIMIZE TABLE ANALYZE TABLE NO_WRITE_TO_BINLOG 最近のコメント表示できるコメントはありません。 © 2024 variable.jp. WordPress とCol

MySQL8.0.14のリリースノートに以下の、管理用の接続が追加されたとの記載がありました。max_connectionに到達してしまい「Too many connections」が出た時の対策として活用出来ると思い、基本的な機能を確認してみました。 MySQL Server now permits a TCP/IP port to be configured specifically for administrative connections. This provides an alternative to the single administrative connection that is permitted on the network interfaces used for ordinary connections even when max_connections con

———————-「 特定DB内のテーブルをチェック 」———————– ++++ OK: MYISAM , INNODB ++++ NG: MEMORY [root@colinux ~]# mysqlcheck --check DB01 -u root -p Enter password: DB01.TABLE007 OK DB01.TABLE008 OK DB01.TABLE009 OK [root@colinux ~]# [root@colinux ~]# mysqlcheck --check DB01 TABLE007 -u root -p Enter password: DB01.TABLE007 OK [root@colinux ~]# ——————————————————————————————- ———————-「DB内のテーブルをOPTIMIZE 」———————– +++

InnoDB 起動オプションとシステム変数 –innodb もしサーバが InnoDB サポートでコンパイルされると InnoDB ストレージ エンジンが有効になります。 InnoDB を無効にするには –skip-innodb を利用してください。 –innodb_status_file InnoDB が MySQL データ ディレクトリ内にファイル名 /innodb_status. を作成するように働きかけます。InnoDB は定期的に SHOW ENGINE INNODB STATUS のアウトプットをこのファイルに書き込みます。 mysql> SHOW ENGINE INNODB STATUS \G *************************** 1. row *************************** Type: InnoDB Name: Status: ==

画像やEXIFを利用したサイトを利用したいので,PHPのインストールオプションを以下のように設定 してインストールしてみた。モジュールが足りないやオプションを間違えている等の部分はあったが 結果的にはインストール出来たので忘れないように,備忘録に記入。 =================画像系のライブラリーを扱う為の事前準備================== [root@localhost ~]# yum -y install flex libxml2-devel Loading "installonlyn" plugin Setting up Install Process Setting up repositories base                      100% |=========================| 1.1 kB    00:00 updates 

チューニングパラメータは/proc/sys配下に集まっています。 /proc/sys /kernel /fs /vm /net shmall、shmmni、shmmax 共有メモリ（シェアードメモリ）のパラメータです。shmallはシステム全体の共有メモリの大きさ、 shmmaxは1プロセスごとの大きさ、shmmniは1プロセスごとの共有メモリセグメント（領域）の数の上限を規定します。 共有メモリを利用する構造になっているアプリケーション（データベースなど）によっては、 この値を大きく取っておかないとうまく動作しないものもあります。 [root@localhost etc]# cp /etc/sysctl.conf /etc/sysctl.conf.20070907 [root@localhost etc]# cat /proc/sys/kernel/shmmax 33554432 [ro