HBase hbase-site.xmlメモ(Hishidama's HBase hbase-site.xml Memo)
HBaseの定義ファイルのメモ。 HBASE_HOME/confの下にhbase-default.xmlとhbase-site.xmlがある。 デフォルトではhbase-default.xmlには色々書かれているが、hbase-site.xmlの方は空っぽ。 Javaプログラムからは使用する定義ファイルを指定できる。 HBase Shellのデフォルト状態はhbase-default.xmlとhbase-site.xmlの設定を使っている模様。 完全分散環境になるとマスターとなるマシンから持ってきたhbase-site.xmlを使うことになるらしい。 とりあえず単独環境や擬似分散環境では関係なし。
Hadoop InputFormat/OutputFormatメモ(Hishidama's Hadoop Format Memo)
InputFormatの概要 InputFormatは、ファイルやDB（HBase）等からデータを読み込み、キーと値に分けて、キー毎にMapperへ受け渡す。 入力データの分割（Split）を行うのが特長。 InputFormatの具象クラスは、getSplits()で入力データを分割する（読み込む範囲を分ける）。 分割されると、Mapperがその分割された部分ごとに処理できるので、並列性が良くなる。 ただし入力データの種類によっては分割できるとは限らない。（例えばFileInputFormatには、分割可能かどうかを示すisSplitable()というメソッドがある。圧縮されたファイルだと（圧縮形式によっては）解凍前の分割は不可能だから） 実際のデータ読み込みはRecordReaderの具象クラスが行う。 InputFormatには、リーダーのインスタンスを生成するcreateRecor
Hadoop HBase操作サンプル(Hishidama's Hadoop HBase sample Memo)
HBaseのテーブルは、qualifierの中はデータ追加で自動的に増やせるが、family（列）はテーブルを一旦使用不可にして項目追加を行わないと増やせない。 したがって変化の無いものを列（family）にする方がいいんじゃないかと思う。 （試験名の方を可変にしておけば、模試とか補習(苦笑)とかにも対応できるし） 準備：テーブルの作成 今回のサンプル用に、HBase Shellからcreateコマンドを実行するか、HBaseのテーブル作成APIを使ってテーブルを作成しておく。 HBase Shellの場合 hbase(main):001:0> create 'student','personal','suugaku','kokugo','rika','shakai','eigo','total5' HBase APIの場合 package jp.hishidama.hadoop.hbas
HBase Javaテーブル操作メモ(Hishidama's HBase Java table Memo)
S-JIS[2010-02-27] 変更履歴 HBaseのテーブル操作 HBaseのテーブルをJavaから操作する例。 HBaseのテーブルそのものを扱うにはHBaseAdminクラスを使用する。 テーブル操作の基本 import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.MasterNotRunningException; import org.apache.hadoop.hbase.client.HBaseAdmin;
たるさんのパソコンフィールド
This page is written in japanese only. root-netより引っ越して以降のカウント数です。 ファイアウォールソフトを導入している場合、 このカウンタは正しく表示されないことがあります。 このページはIE11で表示を確認しています。 Ｗｈａｔ’ｓ Ｎｅｗ？ サイト閉鎖後２年近くたっても読み続けている方々がいらっしゃるようですので、 年数回というスローペースとはいえ、感謝とお礼の意味を込めて再掲載してみたいと思います。 ありがとう！、反物質が我々の住む宇宙を作ってくれた！ (2018 8/8) サイト復帰要請後の低ペースサイト更新。 ありがとう！、反物質が我々の住む宇宙を作ってくれた！ (2018 8/8) 物質と反物質は同じレベルで宇宙に存在するのでは？ (2018 6/4) ダークマターは身近にあるのでは？ (2018 5/9) 量子論はなぜ発生する
数学についてのwebノート トップページ
算術 論理 / 集合 集合と数のあいだ [順序集合/代数系] / 数 解析学 ― 位相・距離、関数 ― 極限 [数列点列/関数]/連続 ― 微分 [ 1変数関数の微分 / 2変数関数の微分 / 多変数関数の微分 / 1変数ベクトル値関数の微分 / 多変数ベクトル値関数の微分 ] ― 積分 線形代数 索引 / 更新履歴 / 文献 算術上の知識 階乗/順列/組み合せ/二項定理/多項定理 Σの定義 Σの計算公式 ： Σの結合則/ Σの分配則/ よく使われるΣの値の公式 二重和ΣΣの計算公式 Σの行列表現： 和の行列表現/ 平均の行列表現/ 2重和の行列表現 二次形式の行列表現/ 積和の行列表現/ 双一次形式の行列表現/ 偏差2乗和の行列表現/ 偏差積和の行列表現 累乗と指数法則 ： べき・累乗の定義(自然数指数)/べき・累乗の定義(整数指数)/べき・累乗の定義(有理数指数)/べき・累乗の定義
天体番号総索引
当サイトに収録した全天体ページへのリンクを番号順に掲載した索引です。見たい天体の番号がわかっている場合にご利用ください。 メシエ番号による検索は，メシエ天体データベースをご利用ください。 NGC0001～1000｜NGC1001～2000｜NGC2001～3000｜NGC3001～4000｜NGC4001～5000｜NGC5001～6000｜NGC6001～7000｜NGC7001～ IC (Index Catalogue)｜B (Barnard, 暗黒星雲)｜Sh2 (Sharpless, 発光星雲)｜Abell (銀河団)｜HCG (Hickson Compact Group)｜Mel.(Melotte, 散開星団) vdB (van den Bergh, 反射星雲)｜Arp(特異銀河)｜その他
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cassandraメモ(Hishidama's Apache Cassandra Memo)