タグ

thriftとhiveに関するyassのブックマーク (1)

  • Hiveのメタストアについておさらい – OpenGroove

    Hiveのメタストアは、何かにつけて、ハマる。分かっているつもりで分かってなかったことも、未だにある。このブログ内や他の場所のあちこちに気づいたことを書いているが、散乱しているのでここでまとめてみる。 以下、過去記事からの引用。 メタストアサービスについて Hiveではメタストアサービスと呼ばれるものを利用する。メタストアサービスはテーブル定義、ここでは「テーブルとHDFS上のデータの対応情報」を管理する。メタストア自体はRDBMSを使用してその情報を管理している。メタストアサービスは以下の3種類があり、要件によって使い分ける。 組み込みメタストア もっとも手軽に利用できる形態。HiveにはJavaで実装されたDerbyというDBが組み込まれており、そのDBをメタストアリポジトリとして利用する。hiveコマンド起動によりDerbyも起動する。同時に一人のユーザーしかHiveを利用できない、

    yass
    yass 2014/06/22
    " リモートメタストアは「Hiveクライアントとメタデータを保存するMySQLの間 にThriftサーバをproxyのような形で挟み、クライアントはThriftプロトコルを通して接続し、クエリを実行する」目的で利用する。"
  • 1