EmbulkでMySQLのデータをBigQueryにロードするのに便利なツールの開発 - 電脳徒然日記
Embulkを利用してMySQLのデータをBigQueryにロードする際に便利なツールを開発したので紹介です。 「Samidareっていいます！ よろしくお願いします。Embulkの設定作成はお任せください！」 開発経緯 業務でログデータの解析基盤としてBigQueryを使用することになったのですが、本番環境のMySQLのデータもBigQueryで参照できるようにすると色々と夢が膨らむという事に気付きました。 Embulkを利用すると簡単にMySQLのデータをBigQueryにロードできるという情報を入手したので検証したところ、確かにこれは楽チンだという結論に至りました。ただ、問題点としてテーブルの数だけEmbulkの設定ファイルを作成し、テーブル毎にEmbulkを実行しなければならないという点です。 当初でもBigQueryにロードしたいテーブル数は20以上あり、今後対象のテーブルが増え
MySQL - komagataのブログ
slowlog [mysqld] log-slow-queries=/var/log/mysqld-slow.log long-query-time=1 slowlogをメール dailyでlogrotateしておいて、下記。 % crontab -l 50 3 * * * mysqldumpslow -s t /var/log/mysqld-slow.log | mail -s "mysql slowlog" foo@bar.com CSVにエクスポート SELECT * FROM employees INTO OUTFILE "/tmp/employees.csv" FIELDS TERMINATED BY ',' optionally enclosed by '"'; CSVからインポート load data infile "item.csv" into table item fie
UbuntuのMySQL-5.5でmysqld_multiの設定 | それなりブログ
起動したいMySQLインスタンスの数だけ作ります、以下は2つ起動する場合 ディレクトリの場所はテキトーなので、好きな場所に作って下さい "mysqld{1,2}" は、ディレクトリ２つをコマンド一発で作っています、便利な書き方だ sudo mkdir -p /var/lib/mysql/multi/mysqld{1,2} すっげー見にくいや.. ごめんなさい 「mysqld_multi 設定」とかでググって、そっちを見てからの方がいいかも # 項目は、以下の追加だけで削除はありません [mysqld_multi] mysqld = /usr/bin/mysqld_safe mysqladmin = /usr/bin/mysqladmin # 以下の user/password は、mysqld_multiプロセスの停止をするためのユーザ設定 # 後で足すので好きな値を入れて置く user
MySQL の slowlog を logrotate する方法 | Carpe Diem
よく MySQL に発行されている重いクエリーをチューニングするために slowlog を出力すると思います。サービスが成長してくると slowlog は増えていく傾向にあります。毎日、せっせとチューニングしているのは基本中の基本ですが、slowlog が肥大化してしまうとチューニングの結果がだんだんと見えなくなってしまいます。特に mysqldumpslow で解析をしているときなら、過去のクエリーまで分析に含まれてしまったりします。 かなり前置きがなくなりましたが、この slowlog を logrotate する方法をまとめておきます。やり方は、いたってシンプルで /etc/logrotate.d/ に次のファイルを置くだけです。 /var/lib/mysql/mysqld.log /var/lib/mysql/mysql-slow.log { # create 600 mysql
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Kazuho@Cybozu Labs: MySQL のボトルネックを統計的に監視・解析する方法
MySQL のチューニング、と言った場合には、サーバーパラメータの調整や EXPLAIN コマンドを利用したクエリ実行計画の最適化が話題に上ることが多いです。しかし、発行する全ての SQL について、いちいち EXPLAIN コマンドを使って確認していては、いくら時間があってもたりません。チューニングを効率的に進めるには、まず、ボトルネックとなっている SQL クエリを特定し、次にその最適化を行うべきです。 ではどのようにして、ボトルネックを特定するのか。MySQL Conference & Expo 2009 のキーノートにおいて Mark Callaghan 氏は、Google では SHOW PROCESSLIST コマンドを使った統計的アプローチを使っていると述べていらっしゃいます (参照: MySQLConf 09: Mark Callaghan, "This is Not a
試験管のなかのコード :: Mac OS X に MySQL をインストール
Mac OS X に MySQL をインストール Mac OS X に MySQL をインストールしたときの手順をメモ。 参考にさせていただいたサイトは以下の通り。感謝!! forever 5 years old blog - MacPorts で MySQL をインストールしてみる http://www.forever5yearsold.net/archives/72 setup_osx - bear-project - PHP5環境構築(OSX macports) http://code.google.com/p/bear-project/wiki/setup_osx F.Ko-Ji の「一秒後は未来」 - MacPortsでのMySQLインストールで初歩的ミス http://blog.fkoji.com/2008/05041648.html MacPorts で MySQL をインス
Mac OS Xでmysqlのgemをインストールする方法 - このブログは証明できない。
Railsのバージョンを2.3.2に上げたら、mysqlのアダプタ（？）が入ってないそうな。そこで、gem install mysqlしてみましたが、エラー。オプションを付けるとうまくいきました。 $ sudo gem install mysql -- --with-mysql-config=/opt/local/lib/mysql5/bin/mysql_config 修正(2009-03-30) ちなみに、Mac OS XへのMySQLのインストールにはMacPortsを使っています。他の方法でインストールすると、configのパスが違うはずです。 MacでMySQLを動かすメモ - このブログは証明できない。 Railsを2.3.2にあげたら発生した問題の関連記事。 RubyGemsを1.3.1にアップデートする方法 - このブログは証明できない。
[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改
query-reviewerはRails用のプラグインで、データベースにMySQLを使っている場合に、不適切な検索が行われていないかどうかを非常に簡単に調べることができる。（MySQL以外ではたぶん動かない。）使い方は非常に簡単で、 git clone git://github.com/dsboulder/query_reviewer.git vendor/plugins/query_reviewer するだけ。設定等はまったくいらない。インストールすると、Railsアプリの左上に「SQL DISABLED」というボタンっぽいのが出てくるので、そこをクリックしてENABLEDに変えてからページにアクセスすると、SQLの実行結果を教えてくれる。 スクリーンショットは開発者のブログで見られる。 大体、以下のような情報が得られる。 SQL EXPLAINの結果 SQLの実行時間 どれだけのSQ
![[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改](https://cdn-ak-scissors.b.st-hatena.com/image/square/85c67ab90ce937b14172441a0b6c0a1f54c8d1c2/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10257846132660155560%2F10257846132660156811%2F1540586577)
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
フツーな日常 - MySQLのTips
http://forge.mysql.com/wiki/Top10SQLPerformanceTipsというのがあったので、和訳してみる。 (11/23 追記)id:pekeqさんとsodaさんのコメントを受け一部更新 (4/27 追記と修正)id:hirose31さんの指摘を受け修正。あと元のサイトが構成変更していたので追従 クエリのパフォーマンスに関するTips(データベースのデザインとインデックスについても) EXPLAINを使ってクエリの実行プロファイルを取れ スロークエリログを使え(常に有効にしておけ！) GROUP BYを使っているか使えるなら、DISTINCTを使うな Insertのパフォーマンス バッチ処理によるINSERTとREPLACE INSERTの代りにLOAD DATAを使う LIMIT m,nは案外速くない 2000件以上のレコードに対してORDER BY RA
MySQL :: MySQL 8.0 リファレンスマニュアル :: 8.2.1.3 インデックスマージの最適化
インデックスマージアクセス方法では、複数の range スキャンを含む行が取得され、その結果が 1 つにマージされます。 このアクセス方法では、単一のテーブルからのみインデックススキャンがマージされ、複数のテーブルにわたるスキャンはマージされません。 このマージによって、その基盤となるスキャンの和集合、共通集合、または共通集合の和集合を生成できます。 インデックスマージを使用できるクエリーの例: SELECT * FROM tbl_name WHERE key1 = 10 OR key2 = 20; SELECT * FROM tbl_name WHERE (key1 = 10 OR key2 = 20) AND non_key = 30; SELECT * FROM t1, t2 WHERE (t1.key1 IN (1,2) OR t1.key2 LIKE 'value%') AND
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
MySQL SELECT文
MySQLのSELECT文で使用できる構文について説明します。 なお、基本程度の構文については説明していません(DISTINCTなど)。 table references FROM句で指定するテーブル名に、いくつかのオプションを付ける事が出来ます。 AS テーブルに別名を付けます。なお、ASは省略できます。 SELECT T1.name FROM table_a T1; USE INDEX Select時に使用するインデックスを指定します。 SELECT * FROM table_a USE INDEX (use_index_name); IGNORE INDEX Select時に使用しないインデックスを指定します。 SELECT * FROM table_a IGNORE INDEX (ignore_index_name); FORCE INDEX USE INDEX と似たような動作を
MySQL AB :: MySQL 4.1 リファレンスマニュアル
概要 これは MySQL リファレンスマニュアルです。 MySQL 8.0 から 8.0.25、および NDB のバージョン 8.0 から 8.0.25-ndb-8.0.25 に基づく NDB Cluster リリースについてそれぞれ説明します。 まだリリースされていない MySQL バージョンの機能のドキュメントが含まれている場合があります。 リリースされたバージョンの詳細は、「MySQL 8.0 リリースノート」を参照してください。 MySQL 8.0 の機能. このマニュアルでは、MySQL 8.0 のエディションによっては含まれていない機能について説明します。このような機能は、ご自身にライセンス付与されている MySQL 8.0 のエディションに含まれていない場合があります。 MySQL 8.0 の使用しているエディションに含まれる機能に関する質問がある場合は、MySQL 8.0
新ストレージエンジン Falcon のアーキテクチャ詳細技術解説 - MySQLカンファレンス2007 - akiyan.com 管理人メモ
MySQLアーキテクチャの解説 ストレージエンジンがプラガブル 5.1では共有ライブラリ化して動的に組み込めるようになる InnoDBのかわりにfalconを使う Falconとは MySQL ABにより現在開発中の、トランザクション対応のストレージエンジン 開発中で完成してない。alpha版 Jim Starkey氏を中心に開発 InnoDBをほぼ全ての点で上回ることを目指している まもなくベータ版が登場。 MySQL 6.0で安定版を搭載予定 思想：現代的なハードウェア環境をフル活用できるRDBMSを目指す マルチコアCPU 大容量メモリ 低速なディスク、RAID InnoDBとの主な差異 クラスタ索引を採用していない 行ベースのレプリケーション(Binary Logging)のみをサポートし、文ベースのレプリケーションをサポートしない 分離レベル「Read uncommitted」を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
wikihub.io
Homebrew + Mysql + Snow Leopard
http://rails.office.drecom.jp/takiuchi/archive/205
http://rails.office.drecom.jp/takiuchi/archive/206