MySQL でオプティマイザトレースを取得する - ablog
MySQL でオプティマイザトレース（Oracle Database でいう 10053 トレース）を取得する方法。 mysql> SET optimizer_trace="enabled=on"; mysql> SET optimizer_trace_max_mem_size = 1048576; mysql> select 1; mysql> select * from information_schema.optimizer_trace\G *************************** 1. row *************************** QUERY: select 1 TRACE: { "steps": [ { "join_preparation": { "select#": 1, "steps": [ { "expanded_query": "/* se
MySQL Connector/J(JDBC Driver) で接続時に任意の collation_connection をセットする - ablog
MySQL Connector/J(JDBC Driver) で接続時に任意の collation_connection をセットする には以下の用に JDBC URL に「connectionCollation=utf8mb4_bin」のように設定すれば良い。 jdbc:mysql://aurora01.cluster-*******.ap-northeast-1.rds.amazonaws.com:3306/mydb?connectionCollation=utf8mb4_bin 参考 MySQL クライアントプログラム mysql、mysqladmin、mysqlcheck、mysqlimport、および mysqlshow は、次のように、使用するデフォルトの文字セットを特定します。 ほかの情報が欠如している場合、プログラムは、コンパイル時のデフォルトの文字セット (通常は lat
Oracle Database から MySQL(Aurora MySQL互換含む) に移行する際に留意すべきこと - ablog
パラメータ SQL_MODE ルーク！MySQLではkamipo TRADITIONALを使え！ | おそらくはそれさえも平凡な日々 MySQL で NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値が入る - ablog TX_ISOLATION トランザクション分離レベルは Oracle のデフォルトは READ COMMITTED、MySQL のデフォルトは REPEATABLE READ 。*1 前提 MySQL 5.6 参考 MySQLのココにギョッとした！ - オラクルエンジニアがMySQLを触って感じたこと from Ryota Watabe バックアップと障害復旧から考えるOracle Database, MySQL, PostgreSQLの違い from Ryota Watabe *1:マスターとリードレプリカについて追記予定
sqlplus から Oracle Database に接続すると ORA-21561 で失敗する - ablog
事象 sqlplus から Oracle Database に接続すると ORA-21561 で失敗する。 % sqlplus awsuser/******@******.******.ap-northeast-1.rds.amazonaws.com:1521/ORCL SQL*Plus: Release 12.1.0.2.0 Production on Mon Sep 18 22:37:57 2017 Copyright (c) 1982, 2016, Oracle. All rights reserved. ERROR: ORA-21561: OID generation failed ORA-21561: OID生成に失敗しました 原因: 渡されたハンドルが有効でない可能性があります。 処置: env、svcハンドルの妥当性を確認してください。 https://docs.oracle
MySQL で NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値が入る - ablog
MySQL で SQL モードが STRICT モードでない場合、NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値（0とか空文字）が入る（1行インサートだとエラーで入らない）。 検証結果 Amazon Aurora with MySQL Compatibility に接続する $ mysql -h ******.******.ap-northeast-1.rds.amazonaws.com -u awsuser -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 53 Server version: 5.6.10 MySQL Community Server (GPL) Copyright (c) 2000,
MySQL のリストパーティションにDEFAULTキーワードはない - ablog
MySQL のリストパーティションにDEFAULTキーワードはない模様。 list_partitions list_partitions句を使用すると、columnのリテラル値のリストで表をパーティション化できます。リスト・パーティション化は、個々の行が固有のパーティションにマップする方法に関する制御に便利です。 list_values_clause 各パーティションのlist_values_clauseでは、1つ以上の値を割り当てる必要があります。複数のパーティションに同じ値(NULLを含む)を割り当てることはできません。リスト・パーティションは、順序付けされていません。 VALUES句のパーティション値にリテラルNULLを指定した場合、後続の問合せで、そのパーティション内のデータにアクセスするには、WHERE句で、比較条件ではなくIS NULL条件を使用する必要があります。 DEFAU
Oracle Database の PL/SQL を MySQL にどう移行するか - ablog
はじめに Oracle Database の PL/SQL の MySQL への移行方法を説明します（MySQL 5.0 からストアドプロシージャに対応している）。 AWS Schema Conversion Tool (SCT) という GUI デスクトップアプリケーション（Windwos/Mac OS X/Linux版）をインストールし、移行元の Oracle Database に接続して自動的にPL/SQL を MySQL のルーチンに変換することができます。 SCT による変換方法は Oracle Database を Amazon Aurora に移行する方法 | Amazon Web Services ブログ をご覧ください。 移行先として適切なサービスを選ぶ 本題に入る前に Oracle Database からの移行先として MySQL、PostgreSQL、Redshift
Linux に psql をインストールする - ablog
psql(PostgreSQL のクライアントツール) は postgresql パッケージに含まれるので、yum で postgresql パッケージをインストールする。 インストール yum でインストールする。 $ sudo yum install postgresql ... Is this ok [y/d/N]: y Downloading packages: (1/2): postgresql92-libs-9.2.21-1.60.amzn1.x86_64.rpm | 260 kB 00:00 (2/2): postgresql92-9.2.21-1.60.amzn1.x86_64.rpm | 4.1 MB 00:00 確認する。 $ rpm -qa|grep postgresql postgresql92-9.2.21-1.60.amzn1.x86_64 postgresql
Python で CSV の列の値の型を類推する - ablog
準備 messytables をインストール $ pip install messytables テストデータ(test.csv)作成 aze,1,a,1 aze,2,b,2 aze,3,c,3 aze,4,d,4 aze,5,e,5 aze,6,f,6 aze,7,g,7 aze,8,h,8a aze,9,i,9 型類推スクリプト(csv_col_type_guesser.py)作成 #!/usr/bin/env python # -*- coding: utf-8 -*- from messytables import CSVTableSet, type_guess fh = open('test.csv', 'rb') table_set = CSVTableSet(fh) row_set = table_set.tables[0] print(type_guess(row_set.
pyenv で Python のバージョンを切替えて使う - ablog
pyenv を使って複数のバージョンの Python をインストールして切替える方法をメモ。 pyenv とは 複数バージョンの Python をインストールしてコマンド一発で使うバージョンを切替えることができるツール。 pyenv lets you easily switch between multiple versions of Python. It's simple, unobtrusive, and follows the UNIX tradition of single-purpose tools that do one thing well. This project was forked from rbenv and ruby-build, and modified for Python. pyenv does... Let you change the global Py
列指向データベースのページのデータ構造 - ablog
行指向データベースは行単位でページ(Oracle Database でいうデータブロック)にデータを格納しているのに対して、列指向データベースは列ごとにページに格納している。クエリ実行時に結果セットを返す際に列別にバラバラのページに格納されているデータをどうやってタプル(レコード)に復元している*1のかと思ったがやはり行IDのようなものを持っているようだ。 行ID は C-Store では pid、MonetDB では BAT(Binary Association Tables) の oid と呼ばれている。 The Design and Implementation of Modern Column-Oriented Database Systems NSM(N-ary Storage Model): 行方向でブロック（ページ）にデータを格納する方式 DSM(Decomposition
Amazon Redshift とは - ablog
AWS Black Belt Online Seminar Amazon Redshift from Amazon Web Services Japan Amazon Redshift は高速で完全マネージド型、ペタバイト規模のデータウェアハウスです。既存のビジネスインテリジェンスツールを使用して、すべてのデータをシンプルかつコスト効果の高い方法で分析できます。 Amazon Redshift（高速でシンプルなデータウェアハウス）｜AWS Amazon Redshift, a hosted data warehouse product, forms part of the larger cloud-computing platform Amazon Web Services. It is built on top of technology from the massive paralle
SQLHCのススメ - ablog
SQLHCとは SQLチューニング・ヘルス・チェック・スクリプト(SQLHC)は My Oracle Support で提供されているPL/SQLスクリプト My Oracle Support の DocID: 1542531.1 から sqlhc.zip をダウンロード・解凍して、sqlplus で SQL_ID を指定して実行 指定した SQL_ID の実行計画、実行時間、参照している表・索引定義、統計情報、実行計画のボトルネック、SQL監視、Optimizer(10053)トレース などを V$ASH、DBA_HIST_ASH、DBA_HIST_SQLSTAT などからまるっととってくれる便利スクリプト 情報採取手順 情報採取する SQL の SQL ID を確認する DBサーバの任意のディレクトリで SQLHC を解凍する $ unzip sqlhc.zip Archive: sq
プロセスがファイルに読み書きしてる内容を覗き見する - ablog
確認方法 ファイルディスクリプタ番号を確認して ls -l /proc/<PID>/fd tail で見てみる tail -f /proc/<PID>/fd/21 実行例 $ while :; do date; sleep 5; done > foo.log & [1] 23801 $ ps -elf|egrep [2]3801 1 S oracle 23801 22232 0 76 0 - 16525 wait 11:03 pts/2 00:00:00 -bash 0 S oracle 23813 23801 0 76 0 - 14732 - 11:03 pts/2 00:00:00 sleep 5 $ ls -l /proc/23801/fd total 0 lrwx------ 1 oracle oinstall 64 Mar 20 11:03 0 -> /dev/pts/2 l-w
SQLテスト・ケース・ビルダーで再現ケースを作成する - ablog
実行計画絡みの性能トラブルシューティングでよく使うので書いておきます。 エクスポート 共有プールに共有カーソルのキャッシュが残っている場合 データベースにログオンする sqlplus / as sysdba 共有プールに共有カーソルがキャッシュされているか確認する SELECT COUNT(1) FROM V$SQL WHERE SQL_ID='a5ks9fhw2v9s1' AND PLAN_HASH_VALUE=272002086; キャッシュが残っていない場合、SQL_ID: a5ks9fhw2v9s1 のSQLを SQL*Plusなどから実行後、1の手順でキャッシュされていることを確認する。*1 テストケースを作成する DECLARE V_TESTCASE CLOB; BEGIN DBMS_SQLDIAG.EXPORT_SQL_TESTCASE( DIRECTORY => 'TEMP
SQL*Plus実行結果をシェル変数に格納する方法 - ablog
SQL*Plus にヒアドキュメントで SQL を渡し、全体をバッククオート(`)で囲めばよい。"$"などはエスケープする必要がある。 $ TRACE_DIR=`sqlplus -s <<EOF conn as sysdba set heading off set sqlblanklines off set pagesize 0 set trimout on select value from V\\$DIAG_INFO where name = 'Diag Trace'; exit EOF` $ echo $TRACE_DIR /u01/app/oracle/diag/rdbms/orcl/orcl1/trace 参考 bash/cshでSQL*PLUS実行結果をシェル変数に格納する方法 - カタカタブログ
Oracle DBA & Developer Day 2016 で発表しました - ablog
2016/10/27(木)に開催された Oracle DBA & Developer Day 2016 で、 「オラクル・コンサルが語る！ SQL性能を最大限に引き出すDB 12cクエリー・オプティマイザ 新機能活用と統計情報運用の戦略」 というお題で柴田歩さんと発表しました。 スライド Oracle DBA & Developer Day 2016のプレゼンテーション資料とセッションの収録動画 サマリ*1 大量データ処理を睨み、Oracle 7(1992) でコストベースオプティマイザ登場。 フィルタ条件・結合条件が多い集計クエリなど統計から正確なカーディナリティ見積が困難なケースに対応するためコストベースオプティマイザは継続的に進化してきた。 ヒストグラムや拡張統計(列グループ統計・式統計)、ダイナミックサンプリングによる見積精度向上。 カーディナリティフィードバックによる見積誤差補正
シンプルでシステマチックな Oracle Database 性能分析 with AWR & OS Watcher - ablog
JPOUG Advent Calendar 2016 の5日目のエントリーです。 昨日は id:knopp さんの Oracle RAC on Docker - KNOPP’s blog でした。 2012年から始った JPOUG Advent Calendar も今年で 6 年目になりました。 今年は私が AWRレポート*1と OS Watcher を使って Oracle Database の性能分析をどのようにしているかを紹介します。 このエントリが抽象的で分かりにくいと感じる方は 運用ヘルスチェックでトラブルを予防しよう！ を見てみてください。 追記(2017/03/05): スライド作ったのでリンクしました シンプルでシステマチックな Oracle Database, Exadata 性能分析 from Yohei Azekatsu まとめ パフォーマンス分析の3軸 ベースライン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
psql で出力結果をファイルに出力する - ablog
Linuxで hostname コマンドはどこから情報を取っているか - ablog
