livedoor Techブログ : nowaのサーバ構成
こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「livedoor Blog」、「フレパ」といった大規模なサービスがありますので、そちらの開発・運用で問題になった点などを参考にしつつ開発を進めています。具体的にはアクセスによる負荷への対策、データベースの分散化、画像のストレージング、冗長性、スケーラビリティといった点になります。 - ポータル(nowa.jp)、CMS(cms.nowa.jp) のサーバ構成 ポータルページ(nowa.jp)とCMSページ(cms.nowa.jp)は、静的なファイルのリクエストを捌く+動的なコンテンツへのリクエストをプロキシするフロントサーバ
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
MySQL の order by rand() - naoyaのはてなダイアリー
MySQL のレコード取り出しの際に、ソートをランダムにできないものかと調べていたら、あった。 SELECT * FROM table ORDER BY RAND()こんな感じで。ソートを RAND にすれば良いという… そうそう、僕もこれは最近知ったんですが。Haropy でエントリーをランダムに取り出すのにも order by rand() を使ってます。Class::DBI::mysql に retrieve_random というメソッドがあって、ランダムに一見取り出すことができるという。これも中では order by rand() limit 1 をやってます。 ただ、この rand() はデータ量が大きいテーブルには使いづらいという罠。 mysql> explain select id from entry order by rand() limit 1 ?G *********
MySQLの文字コードにハマる - すがブロ
文字コードを設定するところはたくさんある Database の文字コード テーブルの文字コード カラムの文字コード クライアントの文字コード 基本、これらは全部統一されていれば MySQL のコンバートに巻き込まれることは無いと思う。 だけど、今回ハマったのはDatabase を ascii にしてテーブルを utf8 で作成してしまったことが原因。 テーブルを DROP するのは惜しいので ALTER で文字コードを変えたんだけど、何回やっても何回やっても文字コードがなおらーないよー。何がいけない？ 横着はやっぱりだめなの？*1 と、割と絶望感に打ちひしがれたんだけど、上のほうで書いたとおり、カラムにも文字コードは設定されているわけで、 Table に対して ALTER をかけてもカラムにまで ALTER の影響は無いので、ALTER TABLE する際には各カラムに対する変更も付けてあ
livedoor Techブログ : MySQL Proxy を試してみました
こんにちは。金子です。 先日、社内勉強会で MySQL Proxy を取り上げました。その際まとめた資料を、一部加筆修正して公開します。 最初にお詫び 大元の文章を書いたのが 2007 年の 7 月なので、内容が少し古いです。これを書きながら最新版をチェックアウトしてきて再検証したかったのですが、レポジトリがダウンしていて最新のソースコードを入手できませんでした。なので、一ヶ月前のリビジョン(rev.116) 時点でのソースコード + 二週間くらい前にレポジトリを覗いたときの記憶のみで書いており、いろいろ間違っているおそれがあるので、みなさん是非自分でコンパイルして試してみてください(注意!ただでさえつながりにくいので、このエントリを全部読んで一週間後にまだ MySQL Proxy のことを覚えていた人だけレポジトリにアクセスしてくださいね) 気の早い人向けの結論 まだ実践投入するには厳し
ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
mir the archive
Contents 更新:2007/08/31 MySQL内部アーキテクチャとソース解析 モジュールと相関図 主要クラスと構造体 ユーティリティ関数 プリプロセッサマクロ グローバル変数 ストレージエンジンインタフェース MySQL Hacking Tips InnoDB関連のソース解析 InnoDB起動プロセス InnoDBバッファプールに関するソースコメントの和訳 InnoDB Record構造 MySQLの拡張 可変引数を持つNativeなSQL関数の実装方法 WarningとErrorの出力方法 HelloWorldネタ GNU AutotoolsでHello World! その他 サンプルコード集 当サイトと管理者について
MyNA Web Site
日本MySQLユーザ会(MyNA)では、昨今のオープンソースデータベース情勢を鑑み、MoSQL を開発しております。本日ようやくこの情報をみなさんに公開できるようになったことを、とても嬉しく思っています。 MoSQLは、MySQL 5.0 をベースにした DBMS で、サーバは GPL ライセンスにより使用することができます。 最初の公開バージョンは MoSQL 10g 5.0.0.11 になる予定です。 MoSQLは、MySQL 5.0 と比較して、以下の特徴があります。 - ユーザ会によるユーザ会のための DBMS です。 - 文字コードを自動変換しないモードをデフォルトとしています。 - 日本語による正規表現に対応しています。 - 文字コードの範囲外のバイト列であってもそのまま格納されます。データが失われることはありません。 - ユーザフレンドリーなメッセージ表示により、やる気が倍増
MySQL互換のデータベース、MoSQLが登場 | スラド
MySQL互換で日本語のハンドリングを向上させたオープンソースのデータベースMoSQL(もえすきゅーえる)が登場しました。MySQLと異なる点は、 デフォルトの文字コードはUTF-8(5.0&5.1) (デフォルトでは)文字コードの自動変換は行なわない(5.1のみ) 文字コードの範囲外のバイト列でもそのまま格納。データが失われない(5.0&5.1) デフォルトでSennaを組み込んでいるため、高速な日本語全文検索が可能(5.0のみ) ほとんどのエラーメッセージを日本語にできる(5.0&5.1) などとなっています。またcharset指定の機能がないアプリケーションでもクライアントライブラリの文字コードを環境変数で指定することでデータベースに日本語を格納出来るそうですが、あくまでアプリケーション依存なので出来ない場合もあります。 ちなみにマスコットキャラはイルカの「萌ちゃん」で、スウェーデン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
banned interdit verboden prohibido vietato proibido