サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
lunarium.info
概要 JDK1.5以後に搭載されて居るJConsoleからHBaseの負荷状態を覗く方法です。 設定 Hadoop/HBaseの設定を変更します。 vi ${HBASE_HOME}/conf/hadoop-metrics.properties ファイルを開いたら、下記の通りに設定を変更します。 # Configuration of the "hbase" context for null hbase.class=org.apache.hadoop.metrics.spi.NullContextWithUpdateThread hbase.period=60 # Configuration of the "jvm" context for null jvm.class=org.apache.hadoop.metrics.spi.NullContextWithUpdateThread jv
とあるSystem上では上記の3特性の内2つ迄しか満たす事が出来ないという説。 分断耐性とは、分散処理を行っている差異にネットワークの断絶が発生した場合でも、全体的な機能に問題を与える事である。 Cloud基盤上では基本的に分散処理を基礎とする為にConsistencyとAvailabilityのいずれかを犠牲にするしかない。が、どうしても規模が大きくなりやすいCloud基盤を利用する際は、可用性を担保しなければならない。 そうなると犠牲にせざるを得ないのがConsistencyとなる。そこで考案されたのがEventually Consistentという概念。 同時に分断耐性を保証する場合にも「不正な結果を返さない事を目的として一時停止する」事を教養するという考え方もある。 参考 BrewersCapTheorem - ブリュワーの CAP 定理 FYI: eventual cons
このCAP定理の考え方からすると、HBaseは一貫性/整合性とネットワーク分断耐性を選択したCP型に分類される。 データ構造 HBaseは主に以下に挙げる要素から構成されている。またこの構造はHBaseだけでなくKVSやカラム指向型DBにおいて良くみられる構造である。 Table Row ColumnFamily ・・・ (Column) Column ・・・ (Label) HBaseは名前のついたTableがあり、そこにRowと呼ばれるRDBMSの「レコード」に相当する形式でデータが保存されている。保存されている各データにはタイムスタンプが伴っており、このタイムスタンプを指定してデータを取得する事も出来る。もしタイムスタンプを指定せずにデータ取得を行った場合は最新の値のタイムスタンプを持つデータが返される。ColumnFamily単位での取得の様に複数の値を取得する場合でも、それぞれ
再構成 上記の文章を再構成しています。 HBaseの構造(草案) HBaseの構造 ZooKeeper Hadoop/Hbaseの利用 Hadoop/HBase Clusterの構築 Hadoopの利用 HBaseの利用 HBaseの情報 Hadoop/HBase その他 HBaseのColumnの詳細設定 HBaseをJConsoleで監視 HBaseのチューニング
概要 TechEd2010 T1-502「クラウド コンピューティングの最先端技術動向と選択の戦略」に参加した後のメモと整理です。 CQRSモデル MVC(Model、View、Controller)との決別 CQRSとは あらゆるMethodはActionを実行するCommandか、呼び出し元にDataを返すQueryの何れかであり、両方を行ってはならない。 CQRSは「Command Query Responsibility Segregation」の略語である。日本語で言えば「コマンドクエリ責務分離」。もっと解りやすく言えば「更新処理と参照処理とに対する応答部分を明確に分離する」事である。 構造としてSystemを次の四つに分類する。 Query(参照) Command(更新) 内部Event 外部Event(公開Event) MVCの終わり CQRSの観点から見ると多くの
概要 Amazonが発表したDynamoに関する論文の意訳(私訳)です。 序論 Amazonは数千万人の顧客を抱える世界規模の電子商取引基盤を、世界中のデータセンタに配置した最大時数万台規模のサーバ群で運用している。この基盤に対しては性能、信頼性、効率性の観点から厳しい要求水準と、基盤自体の永続的な成長を実現する為に高いスケーラビリティが要求されている。例えごく僅かであってもサービス利用不可能な時間が発生してしまえば、金銭的には減収という結果で表れ、顧客からの信頼を損ねてしまう為、特に信頼性確保が最優先される。 我々がこのAmazonの基盤を運営する事で学んだ教訓の一つは 「信頼性とスケーラビリティはアプリケーションの状態を如何に管理するかに依存している」 という事である。我々はサービス指向な構造を有し、高度に分散した疎結合な数百物のサービスを稼働させいる。この様な環境下ではデータ
概要 Cassandra Clusterの構築手順です。 今回は2台のPCでClusterを構築します。各PCのホスト名は下記の様になっています。ホスト名は相互にDNS解決出来る様にしておいてください 出来ない場合はそれぞれHosts等に記入しておいてください。 PCホスト名
概要 ここではHbaseで使われるHBase Shellに関しての説明を行います。従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 基本的にこのSQLをHBase Shellで書いたら、を解説します。 HBase Shell独自の機能はHBase独自のTable/Data操作を参照してください。 RDBが二次元構造だったのに対してHBaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell HBase0.2のhelpの取得結果:Hbase:0.2Help RDBとHBaseの差異 全て主語は「HBase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するKeyのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のT
同一Tokenで復帰? 新規Tokenで復帰? 別PCでToken指定追加? 別PCで新Token追加?
概要 JavaからHbaseへの接続方法を解説します。なおEclipseの詳細な解説などは省きます。 今回利用した環境 Windows Vista SP2 32bit Java 1.6.11 / Eclipse 3.4.1 Hadoop 0.20.1 / Hbase 0.20.0 今回利用したTable Table名:Pokemon 項目1~3はColumnFamilyのみ。項目4、5はColumnFamily+Columnです。 KEY/ROW項目1:NAME項目2:HEIGHT項目3:WEIGHT項目4:Skill:Attack項目5:Skill:Defense
概説 HBaseの完全分散環境の構築迄を目的として手順を纏めたページです。 HBase動作の基盤となるHadoopをInstallしてHadoop Clusterを構築します。続いてHBaseをInstallしてHBase Clusterを構築します。 Hadoopの構築 最初にHadoop Clusterを構築します。下記リストの1から6を行えば動作させる事が出来ます。 追加情報の項目にあるのは各種設定ファイルの解説になるので、必要に応じて参照してください。 No項目名説明
このページの最終更新は 2010年2月2日 (火) 08:21 に行われました。 このページは 4,304 回アクセスされました。 プライバシー・ポリシー LunaBiblosについて 免責事項
Software > DataBase > KeyValueストア > Cassandraの構造 概要 Cassandraの構造を解説します。 CAP定理から見たCassandra CAP定理に基づいて考えると以下の通りに分類される DB名CoherencyAvailabilityPartitioning Tolerance
概要 Debian系LinuxへのApache CassandraのInstall方法の解説。ここでは単独環境で利用する。 Redhat系へのCassandraのInstallはCentOSにCassandraをInstallへ tar.gzからCassandraを使える様にするにはCassandraのInstall(tar.gz編)へ(此方はCentOSでも使えます) 利用環境 Ubuntu 9.10 Server 64bit Cassandraの取得 まずはInstall環境のUpdateを行っておく sudo apt-get update sudo apt-get upgrade つづいてapt-getによるパッケージの取得先にApache Cassandraを追加する。 取得先一覧を開く sudo nano /etc/apt/sources.list 開いたら下記の文字列
それぞれの特性 基本的に特に断りがない限りSmall Instanceでの話です。エフェメラルドライブやIO速度はInstanceの種類により変化します S3 AMI 利点 基本的にInstanceのみ課金されるので安い 起動するだけで150GBのエフェメラルドライブがついてくる ルートドライブのDiskI/Oが高速(250~300MB/sec) 問題点 起動時にS3からのコピーに時間がかかる ルートドライブが10GBしかない EBS AMI 利点 STOP/STARTを利用する事で高速起動が行える ルートドライブの容量が30GB 起動時に利用出来るドライブオプションが豊富 問題点 ルートドライブのDiskI/Oが低速(60~100MB/sec EBS Volumeと同程度の速度) AMIを起動するだけでEBS Volumeに課金対象が発生する オプションを利用しなければエフェメラル
Service > Cloud Computing > AmazonEC2料金体系 一覧バージョン 最終更新日:2009年12月4日・・・アメリカ西海岸料金を追加 $1=\100で計算しています。 一ヶ月=30日で計算しています。 月額、年額等はその期間中Instanceを立てっぱなしにしたとして計算しています。 価格体系場所OSType価格価格日本円変動額総額(月)変動額総額(1年)変動額総額(3年)総額(1年)総額(3年)
設定の詳細はorg.apache.hadoop.conf Class Configurationを参照してください。 基本共通設定 hadoop-env.shの設定 JAVA_HOMEとJavaのHeapSizeの設定をします。HeapSizeの設定は必須では有りませんがPCのメモリ量、扱うDataの大きさを考慮に入れて調整してください。 vi ${HADOOP_HOME}/conf/hadoop-env.sh で開いて Javaホームを追記する。 export JAVA_HOME=/usr export HADOOP_HEAPSIZE=2000 基本個別設定 設定ファイルのコピー 設定の大本となるXMLをコピーします。 cp ${HADOOP_HOME}/src/core/core-default.xml ${HADOOP_HOME}/conf/core-site.xml cp
このページの最終更新は 2009年10月15日 (木) 09:45 に行われました。 このページは 214 回アクセスされました。 プライバシー・ポリシー LunaBiblosについて 免責事項
概要 ここではHbaseで使われるHbase Shellに関しての説明を行います。 従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 ここでは基本的にSQLをHbase Shellで書いたら、を解説します。 Hbase Shell独自の機能はHbased独自の操作を参照してください。 RDBが二次元構造だったのに対してHbaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell Hbase0.2のhelpの取得結果:Hbase:0.2Help RDBとHbaseの差異 全て主語は「Hbase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するRowのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のTableの
概説 Hbaseの完全分散環境の構築迄を目的として手順を纏めたページです。 Hbase動作の基盤となるHadoopをInstallしてHdoop Clusterを構築します。続いてHbaseをInstallしてHbase Clusterを構築します。 Hadoopの構築 最初にHadoop Clusterを構築します。下記リストの1から6を行えば動作させる事が出来ます。 追加情報の項目にあるのは各種設定ファイルの解説になるので、必要に応じて参照してください。。 Hadoopの仕様等 Linuxの設定とHadoopファイル展開 Hadoopの設定 mastersとslavesの設定 Hadoopの運用 Hadoopの動作確認 設定ファイル解説 Hadoopの各設定ファイルの解説です。 hadoop-env.shの設定項目解説 core-site.xmlの設定項目解説 hdfs-si
Service > Cloud Computing > AmazonEC2料金体系 $1=\100で計算しています。 一ヶ月=30日で計算しています。 月額、年額等はその期間中Instanceを立てっぱなしにしたとして計算しています。 AmazonEC2料金体系 一覧バージョン 参考:Amazon Elastic Compute Cloud (Amazon EC2)
このページを最初にブックマークしてみませんか?
『lunarium.info』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く