本当に怖いパフォーマンスが悪い実装 #phpcon2013
9. 問題の実装 9 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <?php class BlackListDB { const DBPATH = "/tmp/db.gdbm"; public function isBlock($id) { $dbh = dba_open(self::DBPATH, "r", "gdbm"); if ($dbh === false) { return null; } $ret = dba_exists($id, $dbh); dba_close($dbh); return $ret; } } 10. 問題点 10 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <?php class BlackListDB { const DBPATH = "/tmp/db.gdbm"; publ
Big Sky :: 組み込み版 NoSQL、「UnQLite」
これまで組み込みDBだと SQLite が一般的でしたが、ローカルであっても NoSQL したい、組み込みで使いたい、というニーズはあるかと思います。 そんな場合、UnQLite を使うと便利そうです。 UnQLite - An Embeddable NoSQL Database Engine UnQLite is a self-contained C library without dependency. It requires very minimal support from exte... http://unqlite.org/ unqlite/unqlite - GitHub README.md UnQLite UnQLite is a in-process software library which implements a self-contained, server...
自分が職を失った経緯 - id:anatooのブログ
この記事は、How I Fired Myself.という記事の試訳です。 2010年の7月、私は22歳で、カリフォルニアのあるソーシャルゲームのスタートアップで働いていた。卒業したてで、私にとって初めての本物の職だった。給料をもらってアパートに住んだ。そのころ私は初めて大人になったような気分でいた。 その会社の主力製品であるRPGのコードを書く二人のエンジニアのうちの一人が私だった。大学では哲学を専攻していた。これはどういうことかと言えば、問題に対してどうやって考えればいいかを知っていた一方で、ベストプラクティスや実用的なデザインパターンに関する知識は最低限しか持っていなかった。私は信じられないほどの熱意でもって自分が持っているごく普通のLAMPの知識を駆使した。 私の悩みの種であるゲームデザイナーはしばしばWorld of Warcraftからインスピレーションを得ていた。WoWは、Bl
社内システムのリプレイス方針とTips - Cybozu Inside Out | サイボウズエンジニアのブログ
「サイボウズ・アドベントカレンダー」の5日目です（これまでの記事一覧）。第1週は無事クリアできました。ありがとうございます。 こんにちは、社内システム開発チームの山田です。 突然ですがサイボウズは何を販売している会社でしょう？ そうですグループウェア・・・のライセンスです！社内システム開発チームでは主にライセンスの販売管理システムを担当しています。 開発しているシステムは、cybozu.com を販売するための cybozu.com Store と cybozu.com Store と連携する社内向けのライセンス販売管理システムです。クラウド化が打ち出される前から社内向けシステムのリプレイスを進めていたのですが、結果としてビジネスの変化を予想したかのような絶妙なタイミングとなりました！ 今回はそのリプレイスでうまくいった方針とちょっとしたTipsを紹介します。 リプレイスしたシステム、しな
【メモ】MySQLでのswap発生とNUMAアーキテクチャ - FAT47の底辺インフラ議事録
DBサーバでとある日を境にswapが発生していることに気がつきました。 サーバはメモリ32GB搭載していて、そのうちの24GBをinnodb_buffer_pool_sizeに割り当てています。 他のthread毎のメモリ設定値を見てもおかしそうな点はなかったのでググってみました。 MySQL と NUMA アーキテクチャと Swap Insanity MySQL InnoDBストレージエンジンのチューニング（後編） なるほど…。 それぞれのCPUがローカルでメモリを管理しているので、 2CPU積んでいるサーバだと、AというCPUで実行されているスレッドが、BというCPUが確保しているメモリ領域にアクセスするには、AのCPUを経由しないといけないわけですね。 このメモリアクセスが不均一になる方式をNUMAアーキテクチャというみたいです。 NUMAアーキテクチャのメモリ管理が、ノードという単
Spider DeNA Technology Seminar #2
12. テーブルリンク Spider Storage Create table tbl_a ( tbl_a tbl_a col_a int, Engine’s table col_b int, primary key(col_a) DB1 ) engine = Spider Other Storage Connection ‘ 2.Get data tbl_a host “DB1”, Engine’s table table “tbl_a”, user “user”, password “pass” ‘; tbl_a tbl_b Local DB 3.Join 1.Request select tbl_a.col_a, tbl_b.col_c 4.Response from tbl_a, tbl_b where tbl_a.col_a = 1 and tbl_a.col_b = tbl_b
MySQLの設定ファイル my.cnf をgithubにて公開しました & チューニングポイントの紹介 - blog.nomadscafe.jp
YAPC::Asiaのスライドで予告していた通り、実際に弊社のいくつかのサービスで使っている my.cnf を公開しました。 github: https://github.com/kazeburo/mysetup/tree/master/mysql 今回、公開した理由はMySQl Beginners Talksの発表の中でも触れている通りです。MySQLのソースコード中に含まれるサンプルのmy.cnfが最近のサーバハードウェアや運用に合わなくなって来ているという状況で、自分の設定にイマイチ自信が持てていない人は少なくないはず。そこで各社秘伝のタレ的な my.cnf をOpen & Shareすることで、モダンなmy.cnfを作り上げる事ができるんじゃないかという考えの下、今回 github にて公開しました。 ファイルは4つあり、それぞれ MySQL 4.0、5.1、5.5、そしてテスト中
開発スピードアクセル全開ぶっちぎり！日本よ、これがMySQL 5.6だッ！！
米国で行われているMySQL Connectというイベントで、ついにMySQL 5.6 RC（リリース候補版）が発表された。リリース候補版ということは、これが次の正式版になるということだ。MySQL 5.5は5.1から凄まじい進化を遂げたバージョンであった。だが、MySQL 5.6はさらにそれを上回る進化を遂げている！正直ここまでの進化を誰が予想しただろうか、いや誰も出来なかったであろう。これまで、α版が出たときから何度か新機能について紹介してきたが、今回改めてMySQL 5.6の新機能を振り返ってみようと思う。すべてまとめるともの凄い内容だ。興奮して夜も眠れなくなること請け合いだ。MySQLの進化が止まるのでは？などという心配は吹き飛び、もはやもうちょっと小出しにしなくて良かったのか？と心配してしまうレベルである。 それではMySQL 5.6の新機能について紹介していこう。 InnoDB
数値キーでCursorJoinerを使う - 遥かへのスピードランナー
android.databaseパッケージにCursorJoinerというクラスがあります。これは何かというと２つの異なるCursorのデータをJoinっぽく扱うことができるクラスで、たとえばContent Provider同士のデータをJoinさせてあげるときに使うことができます。 使い方は、リファレンスにある通り、 CursorJoiner joiner = new CursorJoiner(cursorA, keyColumnsofA, cursorB, keyColumnsofB); for (CursorJointer.Result joinerResult : joiner) { switch (joinerResult) { case LEFT: // handle case where a row in cursorA is unique break; case RIGHT
DjangoのMasterSlaveRouterの話し(稲川淳二風) - Study08.net 対シンバシ殲滅用人型機動兵器
これは最近Djangoを使い始めた人の話しなんですけどね。Djangoは複数DBが扱えるんですよ。ええ。それでMaster/Slaveなレプリケーションを扱いたいなーなんて思ってたんです。 ところがね。ドキュメントに書いてあるMasterSlaveRouterを使った時に不思議な現象に遭遇しちゃったんですよ。 https://docs.djangoproject.com/en/dev/topics/db/multi-db/ ドキュメントに書いてあるとおり「MasterSlaveRouter」を実装しておそるおそるsyncdbして、そーと見たら、フッと出た。出たんですよ！エラー $ python manage.py syncdb . . django.db.utils.IntegrityError: (1062, "Duplicate entry 'contenttypes-contentt
タブUIが便利そうなPHP製MySQL管理ツール「DbNinja」:phpspot開発日誌
DbNinja | Online MySQL database manager タブUIが便利そうなPHP製MySQL管理ツール「DbNinja」。 ブラウザベースのMySQL管理ツールといえばphpMyAdminが定番ですが、DbNinjaはインタフェースが綺麗かつモダンで、タブUIを使ってテーブルを切り替えて便利に使えそうなのが特徴です。 ユーザの追加なんかにしても結構インタフェースが分かりやすくて良い感じです。 SQLはシンタックスハイライトされたりします。 phpMyAdminもいいのですが、「俺はDbNinja派」とかいうとカッコいいかもしれません。 とにかくかなり作りこまれているので一度ためしてみるとよさげです 関連エントリ phpMyAdminクローラーの恐怖 １ファイルで動作する設置が超簡単なphpMyAdmin「Adminer」
エックスサーバー サーバー初期ページ
このウェブスペースへは、まだホームページがアップロードされていません。 早速、エックスサーバー上へファイルをアップロードしてみましょう。 アップロードの方法などは、サポートマニュアルをご参照ください。
Mysql(InnoDB)のロックの変化について
最近、MysqlでUpdate を行った際、更新対象件数によって、書き込みロックが行ロックからテーブルロックに変化することがあったので その原因と対処方法について書こうと思います。 環境は下記の通りです。 OS: CentOS 5.6, MacOSX 10.7.3 Mysql 5.1(InnoDB) ↓のテーブルに、1000件レコードが存在すると仮定して説明していきます。 CREATE TABLE `sample_table` ( `id` int(11) NOT NULL AUTO_INCREMENT, `val` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ロックが行ロックからテーブルロックに変化する現象が発生するのは、 以下のSQL文です。 UPDATE sam
MySQLのストアドプロシージャと生PHPによるパフォーマンス比較
皆さん、こんばんは。笹亀です。 7月もあっという間に10日間が過ぎて、夏真っ盛りになってきました。 自分も夏対策でアイス眠というマットレスを購入して夏を乗り越えようと思っております。 さて、本日はストアドプロシージャについて検証をしてみたいと思います。 ストアドプロシージャとは、一連のSQL文や処理に名前をつけて保存したものです。 PHPの関数と同じでSQLを関数みたいにしたものがストアドプロシージャになります。 MySQLではストアドプロシージャはMySQLでは5.0から利用が可能です。 今回はMySQLのストアドプロシージャの使い方だけではなく、 生PHPで記載したときとのパフォーマンスを比較してみたいと思います。 MySQLのストアドプロシージャを呼び出して処理をするPHPプログラムとストアドプロシージャで作成したものと同じSQLを実行するPHPプログラムを作成します。 上記２つのプ
ORMについてのメモ - inoshiro's blog
ORM(Object Relational Mapping)とは DBを抽象化してオブジェクトとして扱う方法 プログラム上ではオブジェクトとして扱うけど、裏でORMが働いてDBと同期してくれるみたいな メリット SQL書かなくてもいい プロダクトが各種DBに対応していれば、コードを変更せずにDBを変更できる SQL書かなくていいと言ってもクエリの生成をメソッドで指示しているような感じなので、SQLの知識は必要。 デメリット 性能に影響する（処理速度、消費メモリ） 生成するクエリの質が問題になることもあるらしい 他にもちゃんと理解していないところだと、ORMを使うことでデータベース設計が難しくなったり、モデリングが難しくなったりするらしい。 設計方面は知識が足りてない。 ORMのパターン2つ ActiveRecord DataMapper どちらもPofEAAという本に書かれているパターンだ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） こんにちは、インフラ担当新人の nob です。 サーバー監視ツールで MySQL を監視しているのにデータが多すぎて活用していない。という方はいませんか？その豊富なデータをパフォーマンス・チューニングに活用しない手はありません。今回はサーバー監視ツールのグラフを読み解いた実戦経験を元に、「これだけ見れば大丈夫」というツボをまとめてみました。 これだけ見れば大丈夫！ クエリ編 ３つのつぼと５つのグラフ （その１）監視ツールが何を見ているのか知る （その２）監視のキモ、グラフ３点セット (Questions, Lock Waits と Transaction Handler) （その３）グラフでチェックする SQL チューニング ( Select Type と Handler) シンプルでお勧め、サーバー監視グラフ化ツール
Clojureの作者が作ったデータベースDatomicが凄い
プログラミング言語Clojureの作者Rich Hickey氏率いるClojure HackerのチームがDatomic(デートミックと発音するらしい)というデータベースをリリースしました。これが何やらとてつもないです。10年先を行ってる技術じゃないでしょうか。 まだ本番サービスは始まっていませんが開発環境用のライブラリが配布されています。 Datomicは斬新なアーキテクチャなので一言で説明するのはとても難しいです。 私が理解できたことを簡単に説明します。 2014/1/20追記 ライセンスモデル、サポートストレージ、サービスとしてではなく独立して使用する形になるなど記事作成時の内容から色々変更が合った部分を更新しました。 変更不可なAppend-onlyデータベース 従来のデータベースで、あるレコードを変更するというのはそのレコードに対応した場所があり、そこのデータを書き換えるというこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2012/08/21/20120818oracle-makes-more-moves-to-kill-open-source-mysql/
KLab勉強会#6の資料公開 : DSAS開発者の部屋
http://www.2ch-search.net/blog/3