blog.katsuma.tv

前回、紹介したHiveについての続き。 Hiveは内部で扱うメタデータを「metastore」というデータで保持しています。テーブルやパーティションなどの情報、またレコードが実際に保持されてある場所などのメタデータは全部このmetastoreにまとまっています。このmetastoreは、次の3種類の方法で保存することができます。 Embeded metastore Local Metastore Remote Metastore Embeded metastore Embeded metastoreは主にテスト用途に利用されます。テスト用途なので、単一プロセスからの接続しか許可されていません。 そのため、コンソールを複数起動して、それぞれのコンソールから別のMap&Reduceを走らせる…なんてことができません。ただし、Hiveは初期設定がこのEmbededモードになっているので、特に設定

[arakash]

MySQLをHive metastoreに使用する方法

[pandazx]

デフォルトはEmbededで単一セッションのみ、複数セッション貼りたい場合はRemoteかLocal。LocalでMySQLを使用可能にする

[shiumachi]

"metastoreを単一ファイルで扱わずに、Remote Metastoreの形式にようにMySQLに保存することで、同一ホスト内から同時に複数のセッションを張ることができます"

[mogwaing]

メタデータ保存を他のDBMSで

[restartr]

mysqlでmetastoreを管理すると同一ホスト内から同時に複数接続可能になる。（Local Metastoreなら接続はひとつのみ)