Bigtopの検索結果1 - 3 件 / 3件

• あとで読む

  Apache Bigtop の概要と最新動向

  • 3 users
  • sekikn.github.io
  • テクノロジー
  • 2020/12/19

  本記事は, Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2020 18日目の記事です。 この記事では, Apache Bigtop (以下 Bigtop) という OSS プロジェクトの概要と、 2020年12月時点の最新動向について紹介します。 Bigtop の概要と歴史 Bigtop は, Apache Hadoop エコシステムの環境構築やテストを容易にするための Apache Software Foundation 傘下のプロジェクトで、以下のような機能を提供します。 Hadoop や Spark などのビッグデータ関連 OSS を, deb や rpm 形式にビルドしたバイナリパッケージ。 パッケージのインストールとその後の環境設定 (以下、併せてデプロイと呼びます) を自動化するた
• あとで読む

  hive.server2.enable.doAs がよく分からなかったので Apache Bigtop で調べてみた - memo486

  • 3 users
  • memo88.hatenablog.com
  • テクノロジー
  • 2020/06/30

  hive.server2.enable.doAs の設定によって何がどう変わるかよく分からなかったので Apache Bigtop を使って調べてみました。 hive.server2.enable.doAs だと長くて煩雑なので以下では適宜 doAs と略しています。 まとめ バージョンなど 一応公式の説明 調査1: doAsの設定による違い 準備 接続 create databse doAs=true の場合 doAs=false の場合 create table + insert doAs=true の場合 doAs=false の場合 create external table + insert doAs=true の場合 doAs=false の場合 調査2: OSのユーザとproxy userの関係 OSユーザあり、proxy user 設定なし OSユーザなし、proxy us

  • Hive

  
• あとで読む

  Bigtop が提供するパッケージを使って Hadoop クラスタを構築する

  • 3 users
  • sekikn.github.io
  • テクノロジー
  • 2020/12/22

  本記事は, Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2020 19日目の記事です。 この記事では, Apache Bigtop (以下 Bigtop) が提供する deb や rpm 形式のパッケージを使って、 Hadoop クラスタを構築する方法を紹介します。 想定する環境 1台のマスターノードと複数台のワーカーノードが存在し、全台に CentOS 7 がインストールされていること ノード間で相互に名前解決が可能になっていること 説明を単純にするため, iptables や firewalld は無効化されていること Bigtop リポジトリの追加 まず最初に、パッケージマネージャ (今回は CentOS 7 なので yum) の設定に、Bigtop のリポジトリを追加します。 Bigt