Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
What is big data analytics? Fast answers from diverse data sets
Analyzing large volumes of data is only part of what makes big data analytics different from traditional data analytics There’s data, and then there’s big data. So, what’s the difference? Big data defined A clear big data definition can be difficult to pin down because big data can cover a multitude of use cases. But in general the term refers to sets of data that are so large in volume and so com
Ambari -
Introduction The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs. Ambari enables System Administrators to: Provision a Hadoop Cluster Ambari provides a step-by-step wizard for installing Hadoop ser
［第5回］Hadoopクラスターのアーキテクチャー MapReduce編
Apache Hadoopが登場したのは2006年。2011年にビッグデータ元年を迎えた日本でも、Apache Hadoopは有名になりました。Apache Hadoopとのコネクティビティーを強く意識し始めたソフトウエアベンダーは、DBベンダーにとどまらず、BI（ビジネスインテリジェンス）やDWH（データウエアハウス）ベンダーにも広がっているようです。 しかしHadoopの応用は一筋縄ではいかないことも事実。今回はクラスターでのMapReduceの動作アーキテクチャーを、2012年6月現在世界中で最も使われている従来の0.20系（バージョン1）と、今後利用されていく最新の0.23系（バージョン2）の両方について解説しましょう。 0.23系にはMapReduceの部分で大きな変更があります。0.20系の解説を一通り学んだだけで「Apache Hadoopの概要は大体理解した」と安心してはい
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
Hadoopを基幹システムに、EMCとノーチラス・テクノロジーズがソリューション提供
基幹バッチシステムの高速処理、信頼性および運用性を高めるためのソリューションを、EMCの「Greenplum HD Enterprise Edition」と「Asakusa Framework」を組み合わせて提供する。 EMCジャパンは1月19日、分散処理フレームワーク「Hadoop」をベースにした企業向け製品「EMC Greenplum HD Enterprise Edition（EE）」の発売と、同製品と基幹システムでの高速バッチ処理を実現するためのソフトウェアフレームワーク「Asakusa Framework」を組み合わせた「Enterprise Hadoop」開発運用ソリューションをノーチラス・テクノロジーズ（福岡市）と提供することを発表した。 Greenplum HD EEは、オープンソースで公開されているApache Hadoopをベースに、パフォーマンスや信頼性、運用性の向上
はやわかりHadoop
HDFS新機能総まとめin 2015 （日本Hadoopユーザー会 ライトニングトーク＠Cloudera World Tokyo 2015 講演資料）
さまざまなクラウドサービスに対応したクラウド操作ライブラリ「Whirr」がASFのトップレベルプロジェクトに | OSDN Magazine
非営利のオープンソース推進団体Apache Software Foundation（ASF）は9月13日、インキュベータープロジェクト「Apache Whirr」がトップレベルプロジェクト（TLP）に昇格したことを発表した。 Apache Whirrは、さまざまなサービスをクラウドで実行させるための共通APIを提供するライブラリ。さまざまなクラウドで利用できる最小の基本システムイメージや汎用設定なども提供され、これらによってクラウドサービスを「中立な形」で利用できるという。クラスタをオンデマンドで実装するコマンドラインツールとしても利用できる。「Amazon EC2」や「Rackspace Cloud Server」などに対応、また「Apache Hadoop」のほか、「Apache Cassandra」や「Apache Zookeeper」、「Apache HBase」、「Elastic
Giraph - Welcome To Apache Giraph!
Apache / Giraph / Welcome To Apache Giraph! Last Published: 2020-08-11 | Version: 1.4.0-SNAPSHOT Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and their connections. Giraph originated as the open-source counterpart to Pregel, the graph processing a
DougCuttingの講演から思うことのメモ - 急がば回れ、選ぶなら近道
一応感想というかメモ書き ・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき ・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブというスタンス （この辺は割り引いた方がよいとは思うが） ・ということはスペックリーダーはClouderaではなく Apache本家とみた方が妥当。新規の開発はほぼApache中心で Clouderaはパッケージ担当に近い。万が一に備えて エンジニアも心情的にはそっちに振っているとみた。 ・ApacheHadoopは「インフラ的な役回り」に行こうとしてる。 YARNやMapReduce2.0を見ればわかる通り、 ResourceManagerのワードが山ほど出てくる。 これは「ノード処理はすべて引き受ける」という風に見
Apache Avro 1.3.0リリース | gihyo.jp
2010年2月26日、オープンソースのデータシリアライゼーションシステム「Avro」の1.3.0がリリースされました。執筆時点では2010年3月19日にマイナーアップデートが行われ、1.3.1がリリースされています。 Avroは、データ交換のプロトコルおよびフレームワークで、サーバ間でのデータのやりとりなどに利用します。Hadoopの生みの親であるDoug Cutting氏により開発が始まり、Hadoopのサブプロジェクトとして活動しています。競合するプロダクトにはGoogleのProtocol Buffers、Facebookが開発し現在はApacheプロジェクトにホスティングされているThrift、そして日本人の古橋貞之氏が開発を進めているMessagePackなどがあります。 今回の1.3.0のアップデート内容として、PythonやJava、C++、Rubyなど各種言語のパッケージン
Hadoop + Hiveでapacheアクセスログ解析 - 備忘録
Hiveのセットアップは、Hadoopが正常に実行できてる環境下で、アーカイブ（hive-0.7.0-bin.tar.gz）を適当な場所に解凍します。HADOOP_HOMEの設定とhiveのbinにPATHを通して、hiveコマンドを実行するのみです。 hiveコンソールが起動します。 まずapacheログのテーブルを作成します。とりあえずログのフォーマットはcommonです。combinedはこのあとで。 hive> CREATE TABLE apachelog ( > ipaddress STRING, identd STRING, user STRING,finishtime STRING, > requestline string, returncode INT, size INT) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2
Apache Pig 0.8 リリース | gihyo.jp
2010年12月17日、Hadoop上のデータを効率良く扱えるスクリプト言語「Pig」のバージョン0.8がリリースされました。Apache PigはHadoopと同じく米Yahoo!が中心となって開発しており、最初はHadoopのサブプロジェクトでしたが2010年9月にApacheトッププロジェクトに昇格しました。同様のアプローチを行うプロダクトとしてFacebookが開発しているHiveがあります。 今回のリリースでいろいろな機能が追加されました。まずPigにカスタムの関数追加が行えるUDFというユーザ定義関数の機能が、今回のバージョンからJavaでなくPythonで記述することが可能になりました。内部でJythonエンジンを呼び出しており、今までJavaで長いコードを書いてJAR（Java Archive）を作らなければならなかったのに対し、非常に記述量が減り気軽にUDFを作成できるよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Domain Details Page
Cloudera | ハイブリッドデータカンパニー
eBay、HadoopとHBaseを使った次世代サーチエンジンを準備
Hadoop World 2011, Apache Hadoop MapReduce Next Gen
IIS 7.5 详细错误 - 404.0 - Not Found