ClouderaDirectorを使ったクラウドマルチHadoopクラスタの設計 - CyberZ公式エンジニアブログ
はじめに F.O.X事業で、ビッグデータ、インフラ全般、SRE的な事をやってる茂木(@tkmoteki)です。 CyberAgent Developers Advent Calendar 2016 21日目の記事です。昨日は @matsuokah さんのImeFragmentというライブラリを公開しました！キーボード開発でもFragmentを使う！でした。 CyberZ公式エンジニアブログでは、ちょうど1年ほど前にオンプレミス環境のHadoopクラスタ全台のメジャーアップグレードについて書きました。 今回は、オンプレミス環境のHadoopクラスタを、クラウド上にCloudera Directorを使って再設計をする話です。 背景 オンプレミス環境以外でのHadoop Cloudera DirectorとCloudera Manager,クラウド上でのHadoop利用について インフラ構成
Cloud Native Hadoop #cwt2016
クラウド時代の今、"Cloud Native" や "Microservices" などのワードをよく見かけるようになりました。これらは基本的に「クラウド上でアプリケーションを開発するためのベストプラクティス」を意味する言葉です。一方、Hadoop がクラウドの文脈で語られることはまだまだ少ない状況です。それはアプリケーションと比較して、より H/W や OS に近いレイヤーの Hadoop をクラウド上で稼働させるためには今までとは違う根本的なアーキテクチャーの変更を伴うケースがあるためです。本セッションでは "Cloud Native" な Hadoop とは何か、またそのベストプラクティスをデモを交えて紹介します。Read less
#cwt2016 Apache Kudu 構成とテーブル設計
スライド中のURI - Kuduのインストール(Cloudera Manager使用) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_installation.html - Impala-Kuduのインストール(CDH5.8以前) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_impala.html#install_impala - Apache Kudu Troubleshooting http://kudu.apache.org/docs/troubleshooting.html - Apache Kudu project page http://kudu.apache.org/ - Cloudera Eng
もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら
本連載におけるビッグデータ基盤の説明には、業界標準であるオープンソースの分散処理基盤である「Apache Hadoop（以下、Hadoop。とりわけ、Clouderaが提供する「Cloudera Enterprise」）を用いますが、考え方そのものは基盤に依存することなく共通なので、Hadoopではない他の基盤を使っていても活用できることでしょう。 第1回目は、「ビッグデータプロジェクトを開始する前に確認しておくべき、事前知識」編として、ビッグデータおよびビッグデータ基盤の概要とその利点を解説します。 Hadoopについて Hadoopは今から10年前の2006年、オープンソースの検索ライブラリの開発者であった米Cloudera チーフアーキテクトのダグ・カッティング氏が開発した、一般的なIAサーバを並べるだけでスケールアウトできる分散処理基盤です。Hadoopが持つ分散ストレージ／分散フ
Cloudera Managerで新規ホストを追加する - Qiita
Cloudera Manager(以下CM)でのホスト(CMにおけるサーバやインスタンスのこと)を紹介する。 環境 Cloudera Manager 5.8 手順 ホスト → クラスタへの新しいホストの追加 をクリックする。 もし Cloudera Director で環境構築していたらこの操作はせず、Director 側で追加を行う。そうでなければ 従来のウィザード をクリックする。 続行をクリック。 ホストのIPアドレスあるいはホスト名を入力し、追加対象のホストを指定する。 ネットワークが疎通していればホストが表示される。追加対象のホストを選択して続行をクリック。 続行をクリック。 JDKをインストールする場合はチェックして続行をクリック。 追加対象ホストのrootアカウントもしくはsudo権限を持つユーザのパスワードあるいは秘密鍵を登録して、続行をクリック。すぐにインストールが始まる
Tuning Apache Hive on Spark in CDH | 6.3.x | Cloudera Documentation
Minimum Required Role: Configurator (also provided by Cluster Administrator, Full Administrator) Hive on Spark provides better performance than Hive on MapReduce while offering the same features. Running Hive on Spark requires no changes to user queries. Specifically, user-defined functions (UDFs) are fully supported, and most performance-related configurations work with the same semantics. This t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HUE Spark notebook
Installing or Upgrading CDS Powered by Apache Spark | 2.4.x | Cloudera Documentation
Cloudera Manager and Slack
Apache Hadoop 2.6.0-cdh5.16.1 - Hadoop Map Reduce Next Generation-2.6.0-cdh5.16.1 - Fair Scheduler
サービス終了のご案内 - JBpress(日本ビジネスプレス)
Anaconda | The Operating System for AI
https://www.clouderaworldtokyo.com/session-download/B3-Kudu-2FImpala-Strata-talk.pdf
Cloudera Press Releases
https://docs.cloudera.com/documentation/enterprise/latest/topics/cm_ag_upgrade_cm5.html
Python Client (Deprecated)
Cloudera Manager API | 5.7.x | Cloudera Documentation
Setting HDFS Quotas | 5.7.x | Cloudera Documentation
Autoconfiguration | 5.7.x | Cloudera Documentation
https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml