MySQLのデータをシフトJISからUTF-8に変換した際の記録 - sanonosa システム管理コラム集
今回のエントリーは、先日Shift JISで作っていたデータを多言語対応にすべくUNICODEに変換しようとしたとき苦労した際の記録です。 今回対象としたのは、MySQLからdumpした100MB近くあるデータです。 【一通りの手順】 まずMySQLからデータをdumpします。 % mysqldump [database name] > dump.sql 次にdump.sqlをmoreしてみると「DEFAULT CHARSET=sjis」という記述があるのでこれをutf8に変更します。 % perl -p -w -e 's/sjis/utf8/g' dump.sql > dump2.sql ただいくらDEFAULT CHARSETをutf8に変えても実際のデータがシフトJISなので、データ自体もUTF-8に変えます。 % iconv -c -f shift_jis -t utf-8 dum
Scaling with MySQL replication
To deal with Drupal's growth, we're adding a second database server to drupal.org which is useful for at least two reasons. First, we'll be able to handle more SQL queries as we can distribute them between multiple database servers (load balancing). Secondly, this new server can act as a "hot spare" that can immediately take over if the other database server fails (high availability / fail-over).
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
Incremental backup of Drupal using rsync to iBackup.com | 2bits.com, Inc. - Drupal and BackDrop CMS Consulting
2bits.com, Inc. - Drupal and BackDrop CMS Consulting Rsync is a remote file sync protocol written by the same people who brought us the Samba project. Rsync copies files from one location to another keeping both copies in sync. This means that files changed on location A will be copied to B and vice versa. Rsync is also used by ibackup.com is a commerical service for online backup and online stora
spiritlooseのはてなダイアリー - MySQL Proxyがおもしろそう
http://forge.mysql.com/wiki/MySQL_Proxy ほー・・・なかなかおもしろそう。 mod_proxy_balancer and mod_rewrite for MySQLみたいなかんじかなぁ。 といっても、tritonn みたいに MySQL に組み込むんじゃなくって、別プロダクトのサーバ。 load balancing fail over あたりが mod_proxy_balancer っぽくて Query interception Query rewriting Injecting queries あたりが mod_rewrite っぽい。 mod_rewrite みたいに挙動を選ぶ(PとかRとかPTとか)んじゃなくて、コアの挙動はなくて、全部 RewriteMap prg:/path/to/script みたいなイメージっぽい。 「--proxy-lu
窓の杜 - 【NEWS】SQL文をGUIで作成できるフリーのデータベース開発環境「黒猫 SQL Studio」
GUIによるSQL文の作成など、さまざまな開発支援機能を備えるSQL開発環境「黒猫 SQL Studio」v1.1.7.413が6月4日に公開された。Windows 2000/XPに対応しており、個人使用・業務にかかわらずフリーソフトとして利用可能。現在作者のホームページからダウンロードできる。 「黒猫 SQL Studio」は、SQL文の作成やテストを行える汎用のデータベース開発環境。本ソフト上からOLE DB接続またはODBCドライバに対応する各種データベースへ直接接続可能で、作成したSQL文を実際にテスト実行できる。画面は3ペイン構成で、左側には複数のSQLソースファイルを管理できるファイラー、中央には複数ファイルをタブで切り替えて表示できるエディター、右側には接続したデータベースの構造をツリーとリストで表示する“データベースエクスプローラ”が表示される。 SQL文の作成時は、さまざ
MOONGIFT: » マスタメンテナンスを一気に作成「phpCodeGenerator」:オープンソースを毎日紹介
DBを使った開発であれば必ず出てくるのがマスタメンテナンス画面だ。同じような作りで、毎度作るのが面倒に感じている人も多いだろう。だが、ユーザのためを考えれば必ず必要なのもわかっているはずだ。 せめて手軽に終わらせられるようにしよう。決まりきったコードは自動生成してしまえば良い。 今回紹介するオープンソース・ソフトウェアはphpCodeGenerator、DB定義に沿ってコードを自動生成するソフトウェアだ。 phpCodeGeneratorの特徴はなんと言っても対応しているDBの多さだ。MySQL、PostgreSQL、Oracleといった基本的なものはもちろん、Access/ODBC/SQLite/DB2/MS SQL Server/MaxDB/Visual FoxPro/FrontBase/InterBase 6/Borland Interbase 6.5/Firebird/Inform
【レポート】萌え萌えMySQL「MoSQL」とは? | エンタープライズ | マイコミジャーナル
FLOSSアプリケーションは収束と発散をたえず繰り返している。有益であり、人気があるFLOSSアプリケーションには、リソースが集中し、開発が加速する。一方でソースコードにアクセスしやすいというそのライセンスの特性から、本来の開発者や開発チームが想定していなかった変更が加えられ、新たなブランチが形成されていくこともある。FLOSSアプリケーションのおもしろさはこうした発展が世界規模で実施されている点にあるわけだが、ここではそうしたアプリケーションのひとつとして「MoSQL」を紹介したい。 MoSQL(もえすきゅーえる)はMySQLデータベースを日本語が扱いやすいように改善したアプリケーション。MoSQLのサイトによると、次のような点が変更されているようだ。 デフォルトの文字コードはUTF-8 文字コードの範囲外バイト列も喪失することなくそのまま格納 クライアントライブラリにおいて環境変数で文
「MySQL，PostgreSQLとFirebirdの性能をユーザー会メンバーが徹底比較，判明...
「更新とJOINが多ければMySQL，シンプルなSELECT主体ならPostgreSQLが向いている。ストアド・プロシージャでシングル・コネクションならFirebirdは非常に速い」---6月23日に開催された「オープンソースカンファレンス2007.DB（OSC2007.DB）」で，各オープンソースDBのコミュニティのメンバーによる性能比較が披露され，従来の一般的なイメージとは異なる“意外な結果”が明らかにされた。 オープンソースカンファレンスは，オープンソース関連コミュニティが主催するイベントで，OSC2007.DBはデータベース関連のコミュニティが集まったイベントである。性能比較セッションを担当したのは，日本MySQLユーザ会の堤井泰志氏，日本PostgreSQLユーザ会の片岡裕生氏，Firebird日本ユーザー会の木村明治氏。「あくまでボランティアによる性能比較であって，最速，最新マ
ウノウラボ Unoh Labs: MySQL5からのインデックス結合で１テーブル複数インデックスを使う
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
蛇と蛙とナメクジ、そしてデータベースは進化する（1/2） － ＠IT
Database Watch 6月版 Page 1/2 蛇と蛙とナメクジ、そしてデータベースは進化する 加山恵美 2007/6/15 「三すくみ」ってご存じですか。三者が互いにけん制し、硬直した状態です。ナメクジは蛙（カエル）を恐れ、蛙は蛇（ヘビ）を恐れ、蛇はナメクジを恐れるという話が由来だそうです。 ■大規模で検索に強いネイティブXMLデータベース XMLコンソーシアムのXMLDB勉強会では昨年からネイティブに限らずハイブリッドも含めXMLデータベースのベンダ訪問を行い、各製品を研究しています。5月のXMLDB勉強会では「ネイティブのXMLデータベース」で「テラバイト級」を特徴としている2つの製品がテーマに取り上げられました。メディアフュージョンの「EsTerra」と、東芝ソリューションの「TX1」です。 どちらもXMLデータをツリー構造のまま格納し、データがテラバイト級まで膨れあがって
【レポート】8.3でパフォーマンスは劇的に向上する - コアメンバーが語るPostgreSQLの今 (1) 本国の開発者が羨ましがる日本のPostgreSQLユーザ層の厚さ | エンタープライズ | マイコミジャーナル
Josh Berkus氏。セッションでは「小さなゾウだったPostgreSQLコミュニティが、11年経ってこんなに大きなゾウに成長した」と冒頭で語った。ゾウ(マンモス)は本家PostgreSQL開発チームのマスコットキャラ 5日に秋葉原UDXにおいて開催された「PostgreSQLカンファレンス2007」(主催: PostgreSQLユーザ会)には、主催者側の予想を上回る150名もの参加者が訪れ、関係者を喜ばせた。いまだ、オープンソース系RDBMSとして国内No.1の人気を保っていることを証明したと言っていい。 ここでは、PostgreSQLコアチームメンバー Josh Berkus氏による「PostgreSQL: Today and Tomorrow」と題された基調講演を紹介する。話題はもうまもなくのリリースと言われている新バージョンの8.3、その次の8.4にまで渡り、参加者の関心が最も
Purchase Intent Data for Enterprise Tech Sales and Marketing | TechTarget
Enterprise Strategy Group: Go-to-market Expertise to Help You Win
Open Tech Press | MySQLデータのバックアップ方法
2007年5月31日10:53 Tom-Adelstein、Bill-Lubanovic（2007年5月29日（火）） ファイルやディレクトリのバックアップは比較的簡単だが、データベースのバックアップとなると、いくつか特別な工夫を施す必要がある。ここではMySQLを取り上げているが、同じ原理はPostgreSQLやその他のリレーショナルデータベースにもあてはまる。 本稿は、最近O’Reillyから出版された書籍『 Linux System Administration 』の抜粋。 MySQLサーバを休みなく稼働させ続ける必要がないなら、以下に示すような圧縮なしのオフラインバックアップ手法が手っとり早い。 MySQLサーバを停止させる。 # /etc/init.d/mysqld stop MySQLのデータファイルおよびディレクトリをコピーする。例えば、MySQLのデータディレクトリ/var
「ちょっと待て」 真・MySQLのクエリを最適化する10のTips：CodeZine
Jaslabs: High performance phpで紹介された「MySQLのクエリを最適化する10のTips」に対して、反論している人がいる。ブログ「20bits」のJesse氏だ。彼は「10 Tips for Optimizing MySQL Queries (That don’t suck)」というエントリーで、Jaslabs氏の記事は適切でないとしている。 Jesse氏の経験によれば、SQL最適化で最も重要なことはSQLやDBの基本をしっかりと理解することであり、60％がこれで解決するという。残り35％はDBやクエリの特殊な性質に対する対処であり、最後の5％で発想の転換などを求められる。Jaslabs氏はここにばかり力を入れており、それはまったくもって時間の無駄だと述べている（Jesse氏は「SQL_SMALL_RESULTなんて、生まれてこの方使ったことすらない」とまで言
MySQLのクエリを最適化する10のTips - PHPプロ！ニュース
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
更新があるシステムにはInnoDBを選ぼう。MyISAMを選択するならそれなりの理由が必要。それにInnoDBのパフォーマンスはそんなに悪くないよ。 || パフォーマンスチューニングBlog: インターオフ
Poor database design of Drupal = low performance | Drupal.org
Google Code Archive - Long-term storage for Google Code Project Hosting.