実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
パターン認識の基礎 Introduction to Pattern Recognition パターン認識とは 入力：X （観測） 計算機 出力:Y （推定量・カテゴリ） りんご X → Y への写像を形成すること パターン認識応用例 指紋認��
パターン認識の基礎 Introduction to Pattern Recognition パターン認識とは 入力：X （観測） 計算機 出力:Y （推定量・カテゴリ） りんご X → Y への写像を形成すること パターン認識応用例 指紋認証，音声認証，顔認証 NEC 指紋認証モジュール OMRON 顔認識技術 パターン認識応用例（contd.） 表情認識，ジェスチャ認識，手話認識 パターン認識応用例(contd.) 通信符号化，複号処理 エキスパートシステム，データマイニング 財務分析，金融予測，意思決定 認識・識別? 認識 (Recognition) re-cognition : thinking again 認知しているものを再び認知する 識別（Classification） class に分けること ある決められたグループ(class)に振り分ける パターン認識のアプローチ 統計
適切なクラスタ数を推定するX-means法 - kaisehのブログ
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 − ＠IT
2007/11/26 2007年11月24日、「楽天テクノロジーカンファレンス2007」において、Ruby言語の開発者で楽天技術研究所フェローのまつもとゆきひろ氏は、開発中の大規模分散処理基盤「Roma」（ローマ）と「Fairy」（フェアリー）のコンセプトを語った。研究段階ではあるものの、米グーグルなど世界トップクラスのネット企業だけが持つ大規模分散処理技術に真っ向から挑戦する試みだ。 米グーグル、米ヤフー、米アマゾンなど世界トップクラスの大手ネット企業は、巨大なトラフィックに対処するため、大規模データセンターの信頼性、可用性、性能などを確保する大規模分散処理基盤の研究開発を進めている。最近では、こうした大規模分散処理基盤は“ウェブOS”と呼ばれることもあり、注目を集めている。つまり世界トップクラスのネット企業は“ウェブOS”を自社開発しているわけだが、楽天でも国産の“ウェブOS”が生まれ
Hadoop HBase part3 - kuangueの日記
ということで，HBaseについて． 最近，Hadoop内でも特に活発に開発されているHBaseについてです．これは，Google Bigtableの再実装ですね．HBase Architectureを読んでみたまとめを書いておきます．第3弾です．このエントリで翻訳は終了です． HBase Master Server それぞれのHRegionServerは，一つのHMasterにコンタクトし続けます．HMasterは，それぞれのHRegionServerに対して，どのHRegionをロードし，制御可能にしなければいけないかを通知する責任を持ちます．HMasterは，集計表を管理します．これは，どのHRegionServersが有効かを示します．もし，HRegionServerとHMasterの接続がタイムアウトになった場合， 1.HRegionServerは自分自身をkillし，空の状態で再
Log In - Apache Software Foundation
Powered by a free Atlassian Confluence Open Source Project License granted to Apache Software Foundation. Evaluate Confluence today. Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.19.20 Printed by Atlassian Confluence 7.19.20 Report
Heartbeatの特徴とユニークな機能
はじめに 今回から数回にわたって、オープンソースのHA（高可用性）クラスタ構築ソフトウェア「Heartbeat」を題材にして、「クラスタリングとは何か？」というところから、Heartbeat自体の解説、Heartbeatを用いてのHAクラスタの構築、モニタリングなどについて解説していきたいと思います。皆さんお付き合いのほど、よろしくお願いいたします。 クラスタリングって何だろう？ まず、「クラスタリングとは何か」というところから始めてみましょう。この質問に簡単に答えてしまうと「あるミッションに対し、複数のコンピュータ（群＝クラスタ）をもって対処する構成」だといえます。ですが、状況に応じてさまざまなミッションのタイプがありますから、それに対するクラスタリング（構成）も自然と変わってきます。 なお、Linuxでのクラスタリングの歴史は意外と古くまでさかのぼることができます。約十年前の雑誌ですで
Log In - Apache Software Foundation
Powered by a free Atlassian Confluence Open Source Project License granted to Apache Software Foundation. Evaluate Confluence today. Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.19.20 Printed by Atlassian Confluence 7.19.20 Report
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
heartbeatとDRBDとPostgreSQLでデータベースのクラスタを構築する
サードウェア、ネットワーク・ミラーリングを実現する「DRBD」販売を強化
Hbase/RDF - Hadoop Wiki
Sun、Cluster File Systemsの資産買収
Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける
Apache Hadoop