sbt を使って Scala で Hadoop MapReduce 実装 - なんとなくな Developer のメモ
sbt を使って MapReduce を Scala で実装してみました。 使用した環境は以下の通り。（sbtの環境は id:fits:20100810 と同じ） Hadoop 0.21.0 サンプルソースは http://github.com/fits/try_samples/tree/master/blog/20101010/ プロジェクト設定 はじめに環境変数 HADOOP_HOME に Hadoop ルートディレクトリへのパスを設定しておきます。 次に sbt でプロジェクトを作成、プロジェクトファイルを以下のように作成し、Hadoop 関連の JAR ファイルを参照してビルドできるようにします。 project/build/MoneyCounterProject.scala import sbt._ class MoneyCounterProject(info: ProjectI
マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？
大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模
Cassandra Adds Hadoop MapReduce - DZone Database
Today the Cassandra project announced its first new release since becoming a Top-Level Project at Apache. Don't let the low version number fool you. Cassandra 0.6 is one of the most mature NoSQL distributed data stores in the open source market. It was heavily developed by Facebook before it was open sourced in August 2008. Currently Cassandra is being used by four of the largest social media
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
