タグ

ブックマーク / hivecolor.com (2)

  • hiveの一番シンプルなインストール方法

    hiveを現時点で最も簡単にインストールする手順の解説です。 Cloudera社が公開してるパッケージを使ってインストールします。 質問や間違い指摘は何でもご連絡ください(^^) @ts_3156 hiveはhadoopを簡単に使うためのツールです hiveとは、hadoopにおけるMap/Reduce(以下、M/R)処理をHiveQL(hive版のSQL)で書くことができるツールです。 HiveQLは、少なくともM/R処理の直書きよりはとても簡単です。なので、簡単にhadoopを使いたい人はまずhiveを使ってみると良いと思います。 例えば、PV/UUの集計は以下のクエリだけで出来ます。 use [db_name]; SELECT url, -- 集計したいHTMLのパス count(1) pv, count(distinct user_id) uu FROM [db_name].[ta

    tofy
    tofy 2018/01/29
  • hiveを使うためのhadoop(HDFS)コマンド【hiveの初期設定】

    hiveを使うためのhadoop(HDFS)コマンドの解説です。 最低限使うものだけに絞って紹介します。 質問や間違い指摘は何でもご連絡ください(^^) @ts_3156 hadoop、hiveのインストール方法は下記の記事に書いています。 hiveの一番シンプルなインストール方法 HDFSを簡単に言うと、単なるディレクトリとファイルです HDFSは、Hadoop Distributed File Systemです。直訳すると、「hadoop(はどぅーぷ)分散ファイルステム」です。名前の通り単なるファイルシステムの1つなので、普通のコマンドと同じようなコマンドが使えます。HDFSで使えるコマンドは以下の通りです。 # 自分のホームディレクトリにls。以下の2つは全く同じです。 hadoop dfs -ls hadoop dfs -ls /user/[user_name] # 特定のディレク

    tofy
    tofy 2018/01/29
  • 1