MySQLクエリパフォーマンス改善簡易まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 数年やってないと記憶の彼方に飛んでいきそうだったので、MySQLのクエリ改善方法のテンプレを自分用に明記。 スロークエリを除去する事。 初めはとにかく観察。スロークエリを出力させて、観察する。 indexが効かないクエリを排除する。 indexが予期できない条件分岐によるクエリを廃止する。 場合によってはソートをさせない。コード側でソートさせる。 JOINをわざとさせないのも一つの手。後にDB分離レベルのシャーディング等が発生する可能性のあるようなシステムでは、JOIN禁止にする事は決して間違ってはいない。 indexを必ず効かせる レ
PostgreSQLで自動フェイルオーバーする方法 - Qiita
以前投稿したbgwokerで超簡易クラスタ管理を進化させたpg_keeperについて投稿。 コンセプト このツールのコンセプトは**「PostgreSQLの自動フェイルオーバーを簡単に設定する」です。 Pacemaker/corosyncやrepmgrを使えばより細かく、柔軟に設定することが出来ますが、その一方設定が面倒だったり、多くのケースではそこまで柔軟な設定は必要ないと思ったので、「マスタ、スレーブ2台構成でもっと簡単に可用性を向上させたい」**と思い作りました。 監視プロセスはPostgreSQLのプロセスの一つとして動作するので、高機能なクラスタリングミドルウェアによくある監視プロセス自体の起動・停止・監視等の作業は発生しません。 ただし、pg_keeperが対応しているのはマスタ1台、スタンバイ1台で同期レプリケーションを使用した場合のみです。 スタンバイを2台以上使用するケー
Python で Twitter から情報収集 (MySQL と Python の連携) - Qiita
取得したデータを DB に格納 集めてきた Tweet データを DB に格納する部分。 MySQL 用のドライバを利用して、Python から MySQL を操作する。 Python で Twitter からの情報収集 (環境構築編) 環境構築等はこちら MySQL 用ドライバ 環境構築時にインストールしたものを利用する。 サンプルコード 実際の使用法はサンプルコードを見てもらう方が早いはず。 サンプル中の execute_sql() 関数のようにしてやると、指定したDBでSQLを実行できる。 mysql_tools.py #!/usr/bin/env python # -*-coding:utf-8-*- import MySQLdb ### Functions def main(): local_db = { "host": "localhost", "user": "root",
PDOでfetchAll()は避けた方がいいのかもしれない - Qiita
<?php ini_set('display_errors', 1); error_reporting(E_ALL); function get_pdo() { $dsn = sprintf('mysql:dbname=%s;host=%s;charset=%s' , 'database' , 'localhost' , 'utf8' ); $username = 'root'; $password = 'password'; $options = [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]; return new PDO($dsn, $username, $password, $options); } function fetch_array() { $pdo = get_pdo(); $statement = 'select * from
Exometer の使い方 - Qiita
書きかけです Exometer って何？ https://github.com/Feuerlabs/exometer Erlang/OTP に組み込めるほぼ完璧な統計ツール、もうこれでいいよ。 大まかに統計機能と統計出力機能がある。さらに既存に関数を統計機能化するのもある。 基礎編 基本的には exomter:new/3 と exomter:update/2 を使い、取得は exomter:get_value/2 で取得する。 色々特殊な仕組みはあるがまずは counter と gauge と histogram が使えれば十分だとおもう。 new するときのキーは [atom()] でつける。[mqtt,recv,bytes] みたいな感じ exometer:new(Key, Type, Opts) という感じ。 counter counter はシンプルな ets ベースのカウンター
FuelPHPでセッション共有時の注意点 - Qiita
TL;DR FuelPHPでセッション情報をMemcacheやRDBMSなどを使って複数ノードで共有する場合には、 app/config/crypt.php を複数ノードで同じ値となるように設定する必要がある。 背景 Webアプリを複数ノードで構成して、ロードバランサでセッション維持をしない場合には、どのノードにユーザの再アクセスがあってもセッションを維持するために、セッションストアとしてMemcacheやRDBMSなどを使うと思います。 例えば、以下のような構成。 このような構成を FuelPHP で行う場合の注意点を書いておきます。 図と、以降の説明では ElastiCache（Redis）を使っていますが、注意点についてはRDBMSだろうが普通のMemcacheだろうが同じです。 セッションストアの指定 FuelPHP では、セッションストアの指定を app/config/sessi
macでmemcachedを導入する手順 - Qiita
$ brew install memcached ==> Installing memcached dependency: libevent ==> Downloading https://downloads.sf.net/project/machomebrew/Bottles/libevent-2.0.22.yosemite.bottle.tar.gz ######################################################################## 100.0% ==> Pouring libevent-2.0.22.yosemite.bottle.tar.gz ? /usr/local/Cellar/libevent/2.0.22: 48 files, 1.8M ==> Installing memcached ==> Downloadi
MySQL (MariaDB) データベース定義の差分を取得する方法 - Qiita
MySQL または MariaDB で2つのデータベースの定義がどう異なるのか、調べたいことってありますよね？ mysqldump を使って diff で差分を取得することをまず考えるかもしれませんが、もしその差分をなくす、つまり一方に行った変更を他方に反映したい場合に、まさかそこから手動で ALTER TABLE 文を書こうなんてエンジニアはいないと思います。 そんなわけで mysqldiff コマンドの出番です。 mysqldiff コマンドについて mysqldiff は Python で実装された Oracle 公式の MySQL 向けユーティリティツール群である MySQL Utilities に含まれるツールのひとつです。2つの異なるデータベースを比較し、その差分を出力することができます。 Perl製のツール MySQL::Diff について mysqldiff で検索すると同
B-treeインデックス入門 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? B-treeがMySQLで使用されている背景から、B-treeインデックスの構造、そしてそれに基づいたインデックスの使用方法の入門編です。以下の流れに沿ってまとめていきます。 インデックスってなに？ B-treeってなんでインデックスに使われているの？ B-treeインデックスの構造 インデックスの使用方法 ※ 勉強をかねてまとめていることもあり、間違っている箇所がございましたら教えていただけると嬉しいです。 インデックスってなに？ 全体の内容の中から特定部分を探すために使用する、本の索引のような概念のことです。これを用いることで、検索
embulk-filter-column および embulk-filter-row プラグインのご紹介 - Qiita
Embulk Advent Calendar 2015の7日目の記事です。 こんにちは @sonots です。淡々と拙作のプラグインの紹介をしていこうと思います。文量が多くなったのと明日、明後日が空いていたので、記事を分けて ７日目: embulk-filter-column および embulk-filter-row ８日目: embulk-output-vertica ９日目: embulk-parser-none および embulk-filter-stdout のように紹介していこうと思います。 embulk-filter-column URL: https://github.com/sonots/embulk-filter-column カラムの絞り込みをするための filter プラグインです。 弊社での Embulk のユースケースは、主に HDFS に格納されているログを
embulk-output-vertica プラグインのご紹介 - Qiita
内部動作の概要 内部動作的には以下のような挙動をしています (ターゲットテーブルがない場合は、ターゲットテーブルを作成します) テンポラリテーブルを作成し、そこに COPY statement でデータを投入します。 テンポラリテーブルは、ターゲットテーブルのスキーマ情報を取得して、全く同じスキーマで作成します COPY は COPY スキーマ名.テーブル名 FROM STDIN PARSER fjsonparser を利用します。結果 fjsonparser の機能をフルに利用することができます。fjsonparser 最強説に準拠しています。 テンポラリテーブルにデータを投入するのは、ターゲットテーブルの LOCK を取らないようにするためと、冪等性の担保をしやすくするためです。テンポラリテーブルには並列で書き込みます。 テンポラリテーブルにデータの投入が全て終わったら、INSERT
Embulkのリジューム実行/差分実行について - Qiita
Embulk Advent Calendar 2015の10日目の記事になります。Treasure Dataの赤間です。 今日はEmbulkの リジューム実行 差分実行 について書いてみたいと思います。 どちらも大量のデータをロードする際に使える機能ですが、以下のような違いがあります。 リジューム実行 Embulkの場合成功したタスクの情報をファイルに書き込むことができ、1番目と4番目のタスクが成功したというような情報が残るので、リジューム実行した場合は2番目と3番目のタスクのみを実行するというものです。 -rオプションを使用して実行する なお頻繁にタスクが失敗してリジューム実行をする必要がないようにプラグイン側(Input/Output/FileInput/FileOutput)でリトライ処理を実装することも大事なポイントです。 その辺りは2日目にEmbulkプラグインのリトライ/例外処
embulk-parser-grokの紹介 - Qiita
先日の Embulk Meetup Tokyo #2 で発表したembulk-parser-grokというプラグインが好評だったので、使い方を紹介したいと思います。 embulk-parser-grok Embulkを活用したログ管理システム embulk-parser-grok embulk-parser-grokは、Grokというライブラリを利用した汎用的なパーサライブラリです。 https://github.com/thekrakken/java-grok Grokはほぼ正規表現のようなものなのですが、パターンに名前をつけて再利用できるという大きなメリットを持っています。 社内ではこのプラグインを使って、各種アプリケーションログ、Apacheのアクセスログ、Javaのスレッドダンプ、GC Log、JMeterの出力などをパースしています。 汎用的に使えるのでとても重宝しています。 簡
YAML生成を工夫してembulkの設定ファイルを使い易く - Qiita
embulk meetupの後にsonots先輩に何か書いてくださいよーって言われたので、 embulkに限った話ではないのですが、関連する話題なのでEmbulk Advent Calendarに書かせてもらおうと思います。 embulkは設定ファイルがYAMLです。 現時点ではテンプレート機能はまだ限定的な機能しかなくて、それ程表現力がありません。 それならもう、YAMLの生成を別に任せようと思って簡単なgemを作りました。 joker1007/yaml_master YAMLの設定ファイルの大本になるマスターファイルを作っておいて、そこから特定の範囲だけを別のYAMLとして出力するだけのgemです。 その際にerbでRubyを埋め込めるようにしているので、Rubyで表現できることは何でもできます。 環境変数から日付を取ってそれをRangeにしてループしたり、ActiveRecordから
embulk bundleだけでJavaで書かれたプラグインをインストールし利用する方法 - Qiita
以前embulkのjava pluginをbundlerっぽくgithubからインストールして実行できるラッパーを作った - Qiitaという記事を書いた。 要はJava製のプラグインをgithubから直接インストールしてリリース前のものを使いたいというものだ。 で、コマンドをラップするgemを作ってみたのだが、DSLの挙動をちゃんと制御するのは面倒だしコマンドをラップするのは色々とポータビリティが悪い。 しかし、ある時天啓が降りてきた。 「Bundlerを弄ればいいや」と。 で、ソースコード読んで、gemspecの判別がどうなってるのかとモンキーパッチを当てるのにちょうど良い場所を探して試してみた所、とてもシンプルなハックで上手くいった。 Gemfile上でBundlerにモンキーパッチを当てるというダーティさに目を瞑れば割と便利ではないだろうか。 こんな風に書く。 require 'b
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 を使ってみた - Qiita
テーブルの名前をちょっとだけ変えてcreate tableしたりデータをinsert intoすることがしたくなり、なにか良いツールはあるかな？と探していたところ、Cookpadの青木さんが「たべみる」で使われているbricolageを見つけました。 不思議と使ったという情報がみつからず、使用した記録をまとめました。 bricolageの利用例など是非教えてください。 参照サイト 巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 GitHub Wiki 試した環境 OS: OSX 10.11.1 Ruby: 2.2.3 PostgreSQL: 9.4.5 MariaDB: 10.0.21 導入 PostgreSQLとMySQL(mariadb)等が必要になるようなので事前に導入しておきます。 本体はgem install bricolageで導入できます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL 5.5系で slow queryを見張る設定 - Qiita
PHP Memcached拡張で持続的接続を行う - Qiita
https://qiita.com/kantomi/items/07a691e19725e3cd3c4d
Embulk の LocalExecutor プラグインの振る舞いについて整理 - Qiita
