MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ
MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
MySQL 5.7.4で導入されたdefault_password_lifetimeがじわじわくる（MySQL 5.7.11でFIX！！）
MySQL 5.7.4で導入されたdefault_password_lifetimeがじわじわくる（MySQL 5.7.11でFIX！！） 【2016/01/13 10:12】 MySQL 5.7.11でdefault_password_lifetimeのデフォルトは0に変更になりました！ それ以降のバージョンであればこの記事の内容は気にする必要はありません。 日々の覚書: MySQL 5.7.11でdefault_password_lifetimeのデフォルトが0になるらしい！ TL;DR default_password_lifetime= 0 を秘伝のmy.cnfに入れておくつもり。 MySQL :: MySQL 5.7 Reference Manual :: 5.1.4 Server System Variables パラメーターの意味は読んで字のごとく、「最後にパスワードが更新さ
MySQL Connector/Jにおける大量INSERTのチューニング - SH2の日記
ピンポイントチューニング講座です。まずは結果から。 このグラフは、以下のテーブルに50,000レコードINSERTしたときの処理時間を示したものです。性能に70倍以上もの差が出ているのはなぜか、見ていきたいと思います。 CREATE TABLE `loadtest` ( `id` int(11) NOT NULL, `data` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 方法1 ベースライン conn = DriverManager.getConnection(JDBC_URL, JDBC_USER, JDBC_PASS); pstmt = conn.prepareStatement("insert into loadtest (id, data) values (?
MySQLでレプリケーション同期がとれなくなった場合の対処 – (っ´∀｀)っ ゃー | 一撃
昨日久しぶりにブログを更新したら、下書きが突然消えたりパーマリンクが消えてしまったり、はたまた下書きが勝手に公開されてしまったりと酷い目にあってしまった。どうにか投稿ができた後も、リロードするたびに最新の投稿がランダムに見えたり見えなかったりしたりして困ったちゃんである。2台のサーバでnginxの設定ズレやキャッシュの有無などを疑ったりしたが、どうやらMySQLのレプリケーションが失敗しているようだ。そこでスレーブ側のサーバでステータスを見てみることにした。 [nullpopopo@SLAVE ~]$ mysql -u root -p mysql> SHOW SLAVE STATUSG *************************** 1. row *************************** Slave_IO_State: Waiting for master to se
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014 Amazonクラウドを提供するAmazon Web Servicesは、同社の年次イベント「AWS re:Invent」を米ラスベガスで開催しています。 初日の基調講演では、クラウドがエンタープライズITにおけるニューノーマル（新しい普通）であることを強調。新サービスとして、MySQL互換でありつつ商用リレーショナルデータベース並の性能と機能を実現したという「Amazon Aurora」を発表しました。 MySQLとフル互換でありながら5倍の性能 Amazon Web Servicesシニアバイスプレジデント Andy Jassy氏。 既存のリレーショナルデータベースというのは高価で、プロプライエタリで
『MySQL初心者に贈るインデックスチューニングのポイントまとめ2014』
サイバーエージェント公式ブログをご覧の皆さんこんばんは、インフラ＆コアテク本部の須藤(@strsk)です。普段はAmebaのソーシャルゲーム全般のインフラを見つつ、日本語ラップの啓蒙をしながら弊社社員を素材にコラ画像をつくったりしています。好きなAAは麻呂です。 はい、というわけで今回はMySQLインデックスチューニングの基本的な流れについてまとめてみました。 ソーシャルゲームは更新も参照もめちゃくちゃ多いです。数秒のレプリケーション遅延も致命的なので適切なテーブル、クエリとインデックス設計が重要です。（何でもそうですけど）インデックスが多くなると更新コストなどが懸念されますが、インデックスが正しく使われていないクエリを放置している方が悪です。そんなこんなで、割と例も偏ったりしてるかもしれませんがあしからず。 前提としてはInnoDBを想定しています。MyISAMはほとんど使っていません。
MySQLでSQLのみを使用してランダム取得を劇的に早くする方法 - 僕のススメ。
MySQLでランダムに20行をとるためには以下のようにやればいい。 SELECT * FROM table_name ORDER BY RAND() LIMIT 0, 20; 簡単に取得できるのはいいんだけど、行数が増えると劇的に遅い。どれくらい違うかって言うと10万行のデータベースでも↓ぐらい違う。 表示中の列 0 - 19 (20 合計, クエリの実行時間 0.0070 秒) SELECT * FROM table_name LIMIT 0 , 20 表示中の列 0 - 19 (20 合計, クエリの実行時間 1.1884 秒) SELECT * FROM table_name ORDER BY RAND() LIMIT 0, 20; なんでこんなに時間がかかるのかと調べてみると、どうも*を使うから遅いらしい。ということで、列名に主キーを指定して試してみる。 表示中の列 0 - 19
MySQL 5.1 で文字コードを設定 ( UTF-8 ) - Mac OS X v10.5 で web アプリ開発
/etc/my.cnf を編集します。 /etc/my.cnf が存在しない場合はインストールした MySQL の中のサンプルをコピーしてきます。 ターミナルから以下のコマンドを入力します。 一般ユーザには許可されていないディレクトリへファイルをコピーするので sudo コマンドを利用します。 $ sudo cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf vi 等のエディタで /etc/my.cnf を開きます。 [client]、[mysqldump]、[mysql] の各項目へ以下の 1 行を追加します。 default-character-set=utf8 [mysqld] の項目へ以下の 5 行を追加します。 default-character-set = utf8 skip-character-set-cli
ソーシャルゲームのためのデータベース設計
2. 自己紹介 MySQL/Linux周りのスペシャリスト 2006年9月から2010年8月までMySQL本家(MySQL/Sun/Oracle)で APAC/US圏のMySQLコンサルティングに従事 主な著書に「現場で使えるMySQL」「Linux-DBシステム構築/ 運用入門」「Javaデータアクセス実践講座」 DeNAでの主な役割 安定化/パフォーマンス/運用周りの中長期的な改善活動 L3サポート/運用/トラブルシューティング – 難度の高いMySQL周りの問題の根本原因の特定と解決 多くのプロジェクト支援 社内勉強会/トレーニング – MySQLやデータベース周りのベストプラクティスを社内で共有し、 技術スキルを底上げする 技術マーケティング – 国内外のカンファレンスや、技術雑誌等
MySQL 5.1 リファレンスマニュアル :: 24.4.4.3 Java 、JDBC および MySQL のタイプ
Section Navigation [Toggle] 24.4.4 Connector/J (JDBC) の参考24.4.4.1 Connector/J の Driver/Datasource クラス名、URL シンタックス、および構成プロパティ 24.4.4.2 JDBC API 実装についての注記 24.4.4.3 Java 、JDBC および MySQL のタイプ 24.4.4.4 文字セットと Unicode の使用 24.4.4.5 SSL を使用して安全に接続する 24.4.4.6 ReplicationConnection でマスタ/スレーブ複製を使用する MySQL Connector/J は、MySQL データタイプと Java データタイプ間の変換の扱い方に柔軟に対応します。 丸めやオーバフロー、もしくは精度の損失がおこることはありますが、一般的に、どんな
Pinterest のスケール
V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア
MySQL ストアドプロシージャ/ファンクションを使ってみよう！ | QK
いやー・・・本当に情報が少なくて苦労した。というか現在進行形で苦労してます。表題の通り、MySQLのストアドプロシージャ/ストアドファンクションの件なのですが、oracle触っているときも、db2触っているときも、「管理が複雑になるから」ともっともらしいことをいって避けていた道なんですけど、なんとなくわかったところで、「あ、これ結構つかえるじゃん？」と思ってきた。まあ、たしかにプロシージャ側がデータベースサーバサイドで動くわけなのでアプリケーションとの比重を考える必要があるかと思うけど、phpとでもjavaでもアプリケーション視点で考えてみれば、小難しいこと考えなくてもよくなるので、パラメータ渡したら期待した結果が戻ればそれで良いわけでSQLでの過程なんてどーでも良いわけだ、またある意味アプリケーションのプログラムと、ストアドプロシージャは分離されているので、細かい計算ロジックをストアドプ
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
40+ Essential Front End Web Developer Cheat Sheets | Tripwire Magazine
40+ Essential Front End Web Developer Cheat Sheets by Lars | Last updated Jan 14, 2017 | Development | 53 comments Today more or less everyone can put a simple web page together but implementation of professional Web based Application Front Ends is not as simple as some people may think. It is a complex task requiring deep knowledge of several technologies like html, css, javascript, php, etc. In
「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」（以下、モバゲー）といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説、占いなどのコンテンツ、アバター（仮想キャラクター）を装ったSNSコミュニケーション、ディー・エヌ・エー（以下、DeNA）が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業本部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー（PV）は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業本部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000
PHP製のWebブラウザベースのDBコンソール·Uhura MOONGIFT
MySQLを使ったWebシステムの場合、そのDB管理にphpMyAdminを用いることが多いのではないだろうか。ではPostgreSQLを利用する場合はどうだろう。その場合にはphpPgAdminがある。さらにFirebirdの場合はどうだろう。 まるでGUIアプリケーションのようなDB管理ソフトウェア 一つのDB向けに限らず対応していると、操作が同じで済むのでは混乱が少なくて済む。様々なDBを使いこなすならUhuraを使ってみてはどうだろう。 今回紹介するオープンソース・ソフトウェアはUhura、WebベースのDBコンソールだ。 UhuraはPHPで作られたDB管理ソフトウェアだ。データベースの一覧や、テーブルの一覧、ビューやトリガーの一覧を見ることができる。インタフェースにExtJSを用いているので、まるでGUIアプリケーションのような画面構成になっている。 様々なショートカットキーが
MOONGIFT: » 名前以上に高性能なCMS「CMS Made Simple」:オープンソースを毎日紹介
CMSにも向き不向きがある。高性能で言えば先日紹介したConcrete5は飛び抜けていると思うが、それでも決して万能ではない。ブログのような使い方をしたいと思ったらやはりWordPressやMovable Typeのほうが向いているだろう。 ユーザ画面。シンプルさとは裏腹に高性能。 そんな訳で、優秀だから使うと盲目的に従うのではなく、様々なソフトウェアの中から自分にあったもの、目的にあったものを選定するように心がけたい。今回紹介するのはCMS Made Simple、PHPで作られたCMSだ。 CMS Made Simpleはシンプル、と銘打っているが実際は高性能だ。ウィザード形式のインストーラーも便利だし、モジュール機能もある。主な機能としてはコンテンツ管理、テンプレート、ユーザ管理、モジュール、サイト管理となっている。データベースはMySQLまたはPostgreSQLに対応している。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー社内でやってるMySQLチューニングセミナー大公開
Enterprise IT Software Solutions | Quest