CDH5対応のSparkをビルドする方法 - nobusueの日記
このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリケーションのJARをアップロードするのは面倒なので、できれば「手元のマシン(Macとか)からリモートのHadoopクラスタに接続してxx」したいところです。 しかし、Hadoopエコシステムのプロダクトはライブラリの依存関係がシビアなため、バージョンやディストリビューションが異なると接続できないことが多いです。(しかも状況によって発生するエラーが異なるので原因究明が大変です。特に、自分のようにHadoopの経験が浅い人間は素直にディストリビューションの標準構成に従っておいた
Apache Sentryで始めるアクセス制御 (Hive編)
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos この投稿はSpark, SQL on Hadoop etc. Advent Calendar 2014の5日目の記事です。 Apache Sentry(以下Sentry)を使えば、HiveやImpala、Cloudera Search(SolrCloud
HDFS findコマンドについて - Qiita
こんばんは。Hadoopによくパッチを投稿してる@ajis_kaです。早速ですがHDFS findコマンドについて紹介します。 Hadoop 2.6.0以前では使えない 現状の最新リリース(2.6.0)ではfindコマンドは存在せず、HDFS内のファイルを検索するためにはSolrを使う必要がありました。(参考:Cloudera Search HDFSFindTool) Hadoop 2.7.0以降で使えるようになる しかし、Hadoopの次のバージョン(2.7.0)からは、HDFS findコマンドが標準で使えるようになります。HADOOP-8989で開発されていましたが、チケットが登録されてから6年以上かかってようやくコミットされました。(自分でビルドしたtrunkの)ドキュメントによると、現時点では-name, -iname, -print, -print0オプションしか使えませんが、
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
Cloudera World Tokyo 2014 で発表した、C5.2 (Cloudera Manager + CDH) アップデートの資料です。HDFS, YARN, Impala, Cloudera Search (Solr), HBase などの最新情報と、Cloudera Manager 5 の新機能(スナップショット、リソース管理など) について紹介しています。Read less
Hadoopのドキュメントを読む - Qiita
要約 コミュニティ版 Hadoopのドキュメントを読むためのノウハウを紹介する なぜコミュニティか? 本家で起こるバグは、別のDistributionでも(大抵は)起こる。だから本家もウォッチしておきたい (些細な)例: ドキュメントのトップページにある謎のタイポ "Äôs" 本家のサイト: http://hadoop.apache.org/docs/r2.2.0/ CDH5 beta1: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.2.0-cdh5.0.0-beta-1/ 2 (これを引用するのは妥当じゃないかも) : http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/ds_Hadoop/index.html https://issues.apache.org/jira/
Ferry | Big Data Development Environment Using Docker
Big Data Development Environment using Docker¶ Ferry lets you define, run, and deploy big data stacks on your local machine using Docker. Just define your application like this: { "backend":[ { "storage": { "personality":"hadoop", "instances":2, "layers":["hive"] } }], "connectors":[ {"personality":"hadoop-client"} ] } Then get started by typing ferry start hadoop. This will automatically create a
Asakusa Framework 勉強会 2014秋の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/10/17『Asakusa Framework 勉強会 2014秋』に行ってきました。 今回の会場はサイトロックさん。 サイトロックさんはシステム運用をやっている会社で、噂には聞いていましたが、行ったのは初めてでした。食堂とかおしゃれな感じですね(笑) 最初は恒例の土佐さんの『Asakusa fwはじめの一歩 0.7.0』。 拙作DMDL EditorXですが、いくつか使用できない箇所があったようで＞＜ 属性追加ウィザードの障害（issue42）は、自分の環境では再現しないんですよねぇ。 たぶんXtext内部の情報に不整合があるのだと思います。プロジェクトのクリーンをしたりdmdlファイルを保存し直したりすると直るかも？ フローのテストクラスの作成の障害（iss
HDFS HA セミナー #hadoop
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnha
Hue - The open source SQL Assistant for Data Warehouses
How to configure Hue for your Hadoop cluster Published on 02 October 2014 in Development - 5 minutes read - Last modified on 19 April 2021 Hue is a lightweight Web server that lets you use Hadoop directly from your browser. Hue is just a ‘view on top of any Hadoop distribution’ and can be installed on any machine. There are multiples ways (cf. ‘Download’ section of gethue.com) to install Hue. The
MapReduceは「ゆっくり死んでいく」、Hadoop開発者のカッティング氏
出典：ITpro 2014/8/4 （記事は執筆時の情報に基づいており、現在では異なる場合があります） オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるように
乱立するHadoopソリューション – 米リサーチ会社によるベンダー企業の評価とは？ | Insight x Inside
乱立するHadoopソリューションに関して、 米リサーチ会社がベンダー企業の評価を行いました。Home » データ分析 » 乱立するHadoopソリューション – 米リサーチ会社によるベンダー企業の評価とは？ ビッグデータ活用の重要性はわかっていても、それを効率的に利用することは容易ではありません。データの量が膨大で、処理に時間を費やしてしまったり、どのデータが使用できて、どれがあまり意味のないものなのかを判別したり。データを活用しようと思うと、それなりに課題も出てきます。 大量のデータを扱える技術として、Hadoopは今最も利用されているソフトウェアフレームワークでしょう。HadoopはApacheソフトウェア財団のオープンソースプロジェクトであり、誰でも無料でダウンロードし、利用出来るものですが、自社内にそのためのリソースがなく、外部のベンダーからパッケージ化された商品を導入す
AWS Summit 2014 Tokyo「AWSビッグデータサービス Deep Dive」レポート | DevelopersIO
こんにちは、虎塚です。 AWSサミットのセッション「AWSビッグデータサービス Deep Dive」をタイムシフト聴講したので、レポートします。 講師は、HBaseのコントリビュータ、書籍の著者でもある蒋逸峰さん（アマゾン データ サービス ジャパン）です。 テーマは、EMRを中心とするAWSのさまざまなビッグデータサービスを効率使うために、押さえておきたいポイントの紹介とのことです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス（AWS 日本語） AWSビッグデータサービス Deep Dive（AWS Summit Tokyo 2014 | TA-01） Amazon Elastic MapReduce (EMR) のご紹介 What is EMR? EMARとは、マネージド型のHadoopサービス。オンプレミスのHadoopの導
日本オラクル、HadoopにSQLでアクセスできるビッグデータ分析基盤ソフト「Oracle Big Data SQL」を発表
発表にあたり、日本オラクルの代表執行役社長 兼 CEOの杉原博茂氏は、「オラクルでは、いろいろなモノがクラウドでつながり、データ利用が爆発的に増える社会をModern Cyber Societyと呼んでいる。クラウド時代はビッグデータ活用が企業の生命線になる。新製品で、Modern Cyber Societyの新たなビジネス価値創出を実現する。ビッグデータ市場でNo.1を獲得したい」と、新製品の位置づけを説明した。 製品紹介を行った専務執行役員データベース事業統括 三澤智光氏によると、Oracle Big Data SQLは「ひとことで言うと、Oracleが取り扱ってきたリレーショナルなファイルシステムの配下にNoSQL、Hadoopのファイルシステムを置き、構造化データと非構造化データのカベを取り払って一元管理できるようにしたもの」だ。 ポイントは大きく4つあるという。1つは、これまでO
hortonworks/hadoop-tutorials · GitHub
README.md Hadoop Tutorials This repo contains a set of tutorials for Hadoop designed to work inside or alongside the Hortonworks Sandbox. Sandbox is a single-node Hadoop cluster that runs in a Virtual Machine (Virtual Box, VMWare, Hyper-V). Please feel free to recommend edits to existing tutorials, and contribute your own. New contributions should be placed in the 'Community' folder. Current tutor
Spring for Apache Hadoop
NOTICE: The Spring for Apache Hadoop project has reached End-Of-Life status on April 5th, 2019. The current Spring for Apache Hadoop 2.5.0 release is built using Apache Hadoop version 2.7.3 and should be compatible with the latest releases of the most popular Hadoop distributions. Introduction Spring for Apache Hadoop simplifies developing Apache Hadoop by providing a unified configuration model a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_521.html
SequenceIq.com is for sale | HugeDomains
ComputerworldとCIO Magazineは閉鎖しました
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_520.html
Apache Blur (Incubating) Status - Apache Incubator