ClouderaDirectorを使ったクラウドマルチHadoopクラスタの設計 - CyberZ公式エンジニアブログ
はじめに F.O.X事業で、ビッグデータ、インフラ全般、SRE的な事をやってる茂木(@tkmoteki)です。 CyberAgent Developers Advent Calendar 2016 21日目の記事です。昨日は @matsuokah さんのImeFragmentというライブラリを公開しました！キーボード開発でもFragmentを使う！でした。 CyberZ公式エンジニアブログでは、ちょうど1年ほど前にオンプレミス環境のHadoopクラスタ全台のメジャーアップグレードについて書きました。 今回は、オンプレミス環境のHadoopクラスタを、クラウド上にCloudera Directorを使って再設計をする話です。 背景 オンプレミス環境以外でのHadoop Cloudera DirectorとCloudera Manager,クラウド上でのHadoop利用について インフラ構成
Cloudera Manager 5 (hadoop運用) #cwt2013
#cwt2013 Clouderaの嶋内 @shiumachi によるCloudera Manager 5のスライドを公開しました。統合的リソース管理機能、スナップショットなど、エンタープライズで必須の機能について紹介しています Read less
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Evaluation of cloudera impala 1.1
This document evaluates the performance of Cloudera Impala 1.1 using two clusters. It finds that RCFile with Snappy compression provides the fastest performance for both Hive and Impala on the clusters for reading-only workloads. Parquet with Snappy may be fastest for larger tables. Issues were identified with memory limits during Parquet table creation and were later fixed. The evaluation shows I
Cloudera QuickStart VMを使ってImpalaを試してみる - 偏った言語信者の垂れ流し
HDFSやHive、Impalaなど、Hadoop関連のソフトウェアやCloudera Managerの動作やをちょっと見てみたい、という場合、Clouderaが公開しているCloudera QuickStart VMを使うと良い。 https://ccp.cloudera.com/display/SUPPORT/Cloudera+QuickStart+VM VMWare、KVM、VirtualBox用のVMイメージが公開されている。 試したのはVMWare用のVMイメージ。メモリが4GB程度ないと重いので注意。 OVF形式なので、Windows上でVMWarePlayerで開くとインポートのダイアログが表示される。 インポートしてVMを起動すると、CentOSが立ち上がり、Firefoxでようこそ画面が表示される。 Impalaを試す場合、ブックマークのCloudera Managerを
Cloudera Searchってのが出たらしい（とりあえず、雑感？）
AWS Summitに来ていたのですが、TLでは、Cloudera Searchが賑わってました。 ということで、軽くどんなものか読んだり調べたりしたメモを残しとこうかと。 英語力はあやしいので、おかしいとこがあったらツッコミを。 Cloudera Searchとは？ CDH4.3に対応したCDHユーザ向けの検索システム（beta版）なのかな？ CDHに統合された検索フレームワークなのかな？ 基本はLucene/Solr 4.3でHadoopのペタバイトデータを検索することができるようになるみたいです。 どんな仕組み？ 次のものを利用しているようです。（GithubのREADMEから。） 使ってるもの Apache Solr(4.3.0＋α？) Apache Lucene（Solrつかってるからね） Apache SolrCloud（うーん、Solrに含まれるのに別に出してるのなんで？）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan