2018年9月20日開催されたdb tech showcase Tokyo 2018で発表した資料です。
Mac上にhiveをセットアップする手順のメモを残しておきます。 この手順では、hiveのmetastoreにmysqlを使用します。 Hadoopとhdfsのセットアップhiveのセットアップとmetastoreの設定Hadoopとhdfsのセットアップhomebrewを使ってhadoopをインストール、 その後必要となる設定を行います。 インストールjdk及びhomebrewはセットアップ済みとして、 以下のコマンドでhadoopをインストールします。 HADOOP_HOMEの設定環境変数「HADOOP_HOME」「HADOOP_CONF_DIR」を設定しておきます。 hadoop versionの出力結果を見て、以下のように設定します。 以下は私の環境の場合の設定です。 $ hadoop version Hadoop 2.7.2 ※省略※ This command was run u
id:shiumachi さんが書かれてる下記の記事がとても良かったです。 shiumachi.hatenablog.com 私自身もSparkを触る前は「Hadoop == MapReduce」と思ってましたが、どちらかというとYARNやHDFSがHadoopファミリの核だと最近は思いますし その意味でのHadoopは全然終わってないと思います。記事の中で書かれてる通り、ある意味ではさらなる進化を遂げて花開いてる状態かな、と。 ただ、Twitterにも少し書いたんですが一方で「猫も杓子もHadoop!」の時代が終わりつつあるのも事実かな、と思います。 もうちょっというとHadoopに限らず巨大スケールの分散システムの用途が収斂してきたのかな、と。 HadoopやGoogle MapReduce登場時のと違い、ストレージI/Oは133MB/sとかの単位で争ってたHDDからストレージに代わっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く