「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
MySQL :: MySQL 5.1 リファレンスマニュアル :: 24.4 MySQL Connector/J
MySQL は、Java プログラム言語で開発されたクライアント アプリケーションに、JDBC ドライバを介する接続を提供しており、 それを MySQL Connector/J と呼びます。 MySQL Connector/J は JDBC-3.0 Type 4 ドライバで、純粋 Java です。JDBC 仕様のバージョン 3.0 を導入しており、また、MySQL プロトコルを仕様して MySQL サーバと直接通信を行います。 JDBC はそれのみで便利なものですが、このマニュアルの最初の数セクションを読んでみても理解しがたい場合は、無償 JDBC の使用は分かりやすい問題のみにとどめ、JDBC でしばしば必要になる反復作業や、より重要な作業には、 Hibernate 、Spring's JDBC templates 、または Ibatis SQL Maps などの一般的なパーシステンス
[Think IT] 第8回：それぞれが持つビュー機能 (1/3)
ビューとは「定義したSELECT文の処理結果集合を、あたかも通常のテーブルのようにあつかう」ための機能です。アプリケーションから複雑なSQL文を発行しなくても良いようにしたり、データベースモデル設計でいうところの「外部モデルの実装形態」として使用します。データベース設計者によっては、頻繁に使用されることも多いのではないでしょうか。 ただし、ビューは検索対象に使用する際には実テーブルと同じようにあつかえますが、更新対象として使用する際には実テーブルのようにはあつかえません。そこで今回は、PostgreSQLとMySQLそれぞれが持つビューの機能について特に更新処理に着目し、具体的な例を交えながら解説します。 PostgreSQLでは、単純にCREATE VIEW文にて作成したビューを更新することができません。ここでは詳しく触れませんが、PostgreSQLのビューは「ルール」という仕組みを利
ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
[ThinkIT] 第1回：定量的な情報収集のススメ (1/3)
MySQLサーバに限らず、大量のアクセスを処理するデータベースやアプリケーションサーバ群に対して、それぞれの環境に合わせたチューニングを行うことは企業システムにおいて必須の項目です。しかし「チューニングすべきパラメータとその最適値をどのように決定すればよいのか」、また「実際にチューニングを施すことによってどの程度効果があったのか」を把握することは意外に難しいものです。 ですが、敢えていえば答えは明瞭で、「定量的な情報収集と分析」の他にないでしょう。あらかじめ情報を収集しておけば、チューニング前後でのデータを比較することによってどのような変化が起きたのかを知ることができます。 本連載では、まずはMySQLサーバにおいて収集すべき情報を提示し、その後、それらを利用した基本的なパラメータについてのチューニング方針を紹介します。 また、今回はOSにCentOS 5.0、データベースにMySQL 5
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://labs.cybozu.co.jp/blog/kazuho/archives/2007/09/mysql_param_binding.php