Cloudera Data Platform The only hybrid data platform for modern data architectures with data anywhere.
![Cloudera](https://cdn-ak-scissors.b.st-hatena.com/image/square/aef67d99d3a26eaca7aea90f2f387234c1c02dab/height=288;version=1;width=512/https%3A%2F%2Fwww.cloudera.com%2Fcontent%2Fdam%2Fwww%2Fstatic%2Fimages%2Flogos%2Fcloudera-card.jpg)
It’s hard to believe it’s been 15 years since the global financial crisis of 2007/2008. While this might be a blast from the past we’d rather leave in the proverbial rear-view mirror, in March of 2023 we were back to the future with the collapse of Silicon Valley Bank (SVB), the largest US bank to […] Read blog post
仕事では30-40ノード位のHudsonクラスタを運用しているのですが、常々、このクラスタをもっと多用途に使えたら便利だと思っていました。 HadoopをHadoop推奨の方法でインストールしてもよいのですが、ネットワークの情報等をHudsonとHadoopに別々に教えないといけないのは不便です。そこで、週末を2つ使って、HudsonクラスタにHadoopを展開するためのプラグインを書きました。Hadoopのコードを読むのに少し手間取りましたが、一度肝を掴んでからは比較的簡単でした。 このプラグインをインストールすると、Hudsonのクラスタ全域でHadoopノードが実行され、またネットワークの設定に関する情報が自動的にHudsonからHadoopへ伝えられます。ユーザーは、HadoopプラグインをHudsonにインストールする以外にはやることはなにもありません。いわゆる「zero con
概要 余りPCを活用してhadoopとかsolrの実験環境を作ってみる。 これでやったノウハウを元に、Amazon EC2/S3に環境を作りたいなーなんて思っている次第。 ここはそのための礎を作るプロジェクトです。 資料 プリファードさんとかGooさんが、hadoopを解析してくれました。 hadoop.pdf プリファードのCTOさんが資料を書いてくれています。 http://kzk9.net/blog/2008/08/hadoop_lucene.html 稚内北星大学の人が資料を書いてくれています。 20071225_Amazon_EC2_Hadoop-2.pdf Javaで学ぶ分散処理関係 http://www.atmarkit.co.jp/fjava/special/distributed01/distributed01_1.html solrとかlucene ブログウォッチャーの
Please note that all new project news and releases have moved to https://cascading.wensel.net The Cascading Ecosystem is a collection of applications, languages, and APIs for developing data-intensive applications. At the ecosystem core is Cascading, a Java API for defining complex data flows and integrating those flows with back-end systems, and a query planner for mapping and executing logical f
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く