コードやテンプレートに縛られずに、 誰でも自由自在にデザイン可能。 作成したサイトは、1クリックで世界に公開。 そう、必要なのはSTUDIOだけです。
前回の投稿に絡むネタなのだが、どうもHiveのリモートメタストアとThriftサービスの相関が今一理解できていないので自分用にまとめてみる(ついでに、メタストアサービスとメタストアDBは違うものだということにさっき気づいた)。 以下、HiveにおけるThriftについて「プログラミング Hive」(O’REILLY) 16章より引用(若干表面的な言い回しを変えてある)。 Hiveにはひとつのポートを通じてHiveにアクセスできるようにしてくれるHiveServer(HiveServer2)あるいはHiveThriftと呼ばれるオプションのコンポーネントがある。Thriftを利用すれば、Java以外の多くの言語を使ったクライアントから、リモートにあるHiveへプログラム的にアクセスできるようになる。 CLIはHiveにアクセスする最も一般的な方法だが、CLIはその設計上プログラムから使うのが
HiveコマンドをHadoopクライアントを利用せずに実行するには、HiveServer2をセットアップしHiveServer2を経由してHiveHadoopクラスター上でMapReduceジョブを実行します。 HiveServer2は名前の通りHiveServerのバージョン2でApache Hive 0.11から導入されました。 HiveServer2のクライアントは、以下のようにCLIのBeelineの他に専用のJDBCやODBCドライバを利用するアプリケーションになります。 HiveServer2は、HiveQLを受け取るとMapReduceに変換してHadoopクラスターに実行を要求します。 この図は、ClouderaのブログHow HiveServer2 Brings Security and Concurrency to Apache Hiveを参考にしています。 Beeli
HiveのメタストアDBとしてMariaDBを使ってイケるのか、というのをやってみた。CentOS7でやりたかったのだがCDHが未対応なので、6で。現状、MariaDBにしなければいけない理由も、MySQLではダメという理由もない。そんな要件も、当面出てこないだろう。ただMySQLの将来が不明瞭な現状を踏まえて、個人的に確認しておきたいだけである。 環境はAmazon EC2上のCentOS6.6。Hadoop擬似分散環境は構築済みで、CDH5.4.4にアップデート。HiveのメタストアDBとしてMySQLが動いていたところから始めた。かなり以前に作ったAMIを元にアップデートを繰り返してゴニョゴニョやっているもんだから、環境が汚れている。一から新しいイメージを作り直そうと思ったが、面倒くささに負けてやめた。が、そのせいでちょっとハマった。詳細は後述。 では、MySQLをアンインストールし
Hiveのメタストアは、何かにつけて、ハマる。分かっているつもりで分かってなかったことも、未だにある。このブログ内や他の場所のあちこちに気づいたことを書いているが、散乱しているのでここでまとめてみる。 以下、過去記事からの引用。 メタストアサービスについて Hiveではメタストアサービスと呼ばれるものを利用する。メタストアサービスはテーブル定義、ここでは「テーブルとHDFS上のデータの対応情報」を管理する。メタストア自体はRDBMSを使用してその情報を管理している。メタストアサービスは以下の3種類があり、要件によって使い分ける。 組み込みメタストア もっとも手軽に利用できる形態。HiveにはJavaで実装されたDerbyというDBが組み込まれており、そのDBをメタストアリポジトリとして利用する。hiveコマンド起動によりDerbyも起動する。同時に一人のユーザーしかHiveを利用できない、
Gitの基本的な使い方のおさらいをチームのLearning Sessionでやろうかなと思ってドキュメントを眺めてたら、あれ?こんなんあったっけ?と思うコマンドがあった。 git restore と git switch Git 2.23で導入されたみたい。去年の夏か。 https://github.blog/2019-08-16-highlights-from-git-2-23/ まだExperimentalみたいだけど、面白そうなので触ってみた。今日は git restore の話。git switch はまた気が向いたら。 https://git-scm.com/docs/git-restore ## リストアの前にWorking Treeとかの話をざっくり GitにはWorking TreeとStaging AreaとGit Directoryという3つの場所がある。 file.t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く