タグ

clusterに関するnuraiのブックマーク (5)

  • MySQL関連のメモ

    MySQL Clusterは、メモリテーブルであっても、かなりディスク容量を消費する。 (6.2までは、ざっくりと「メモリテーブル見積」*10。メモリを32GB積んで、30GBほどをMySQL Clusterに割り当てたら、ざっくり300GBほどのHDDがあると良い。) というわけで、MySQL Clusterのバックアップは「取りっぱなし」では、HDD容量を圧迫するので、MySQL Clusterのメンテナンス用スクリプトを作ってみた。 #!/bin/sh bkupdir=`find /export/home/mysql-cluster/BACKUP/ -name "BACKUP*" |wc -l` echo "The number of backup dir under BACKUP is:" $bkupdir if [ $bkupdir -gt 0 ]; then cp -pr /e

  • えとらぼ、分散型ストレージ「kumofs」をオープンソースで公開

    えとらぼは1月18日、分散型のストレージシステム「kumofs」をApache License 2.0 のもとオープンソースとして公開した。kumofsは同社の写真ストレージサービス「Ficia」で使用されている。 kumofsはレプリケーション機能を備え、一部のサーバに障害が発生しても正常に動作し続けられるほか、自動的に複数のサーバに負荷を分散して高速に動作するという。システムを止めることなくサーバの追加や復旧ができるなど、スケーラビリティ性に優れるという特徴もある。 kumofsはInteropTokyo 2009 クラウドコンピューティングコンペティションで優勝した。えとらぼはプログラムをオープンソースとして公開することにより、多くの人にkumofsを利用してもらい、プログラムの改善に参加してほしいとしている。 えとらぼは元ミクシィCTOの衛藤バタラ氏が創業したベンチャー企業だ。

    えとらぼ、分散型ストレージ「kumofs」をオープンソースで公開
  • MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT

    MapReduceのJava実装Apache Hadoopを使ってみた:いま再注目の分散処理技術(後編)(1/3 ページ) 最近注目を浴びている分散処理技術MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画(編集部) Apache Hadoopプロジェクトとは何か? 特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術Webサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも

    MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
  • 高まるHadoopの導入機運、日本のHadooperが集結

    高まるHadoopの導入機運、日のHadooperが集結:Hadoop Conference 2009 Tokyo Report Hadoop Conference 2009 Tokyoに集まった日のHadooperたち。楽天が、はてなが、NTTデータが、そのほか多くの先進的な企業がこぞってHadoopを使うのはなぜなのか。Hadoopに対する各社の研究開発がつまびらかに語られた。 ニューヨークから東京へ 10月2日に米国・ニューヨークで「Hadoop World」が開催された時点で、11月には東京でも、という話が浮かび上がっていた。そのわずか2週間後、10月16日の金曜日にHadoopユーザー会からの開催通知メールが配信されると、週明け20日の朝には200名の定員が埋まってしまうという盛り上がりをみせ、日のHadooperたちが胎動していることを感じさせた。 Hadoop Conf

    高まるHadoopの導入機運、日本のHadooperが集結
  • MySQL/クラスタ - いがっちの覚書

    MySQLはフリーのDBMSですが、クラスタ構成にすることも可能なようです。 ここでは、インストールからクラスタの設定までをやってみたいと思います。 構成 † MySQLでクラスタを構成するためには、管理ノード、Dataノード、SQLノード3種類が必要です。でそれぞれ以下のような形がいいようです。 管理ノード ・・・ クラスタを管理するためのマシン。2台以上が望ましい。 Dataノード ・・・ データを管理するマシン。後述する「NoOfReplicas?」の倍数台必要。最低2台 SQLノード ・・・ SQLを処理するマシン。Dataノードとの共存が可能 上記を受けて、今回はこんな構成にしようと思います。 192.168.1.101 ・・・ 管理ノード 192.168.1.102 ・・・ Data兼SQLノード 192.168.1.103 ・・・ Data兼SQLノード ↑ インストール †

  • 1