「Apache Hadoop 3.0」リリース、Java 8が必須に | OSDN Magazine
非営利団体のApache Software Foundation（ASF）は12月14日、分散処理フレームワーク「Apache Hadoop 3.0.0」を公開した。本バージョンではJava 7のサポートがなくなり、Java 8の利用が必須となっている。 Hadoop 3.0.0は2013年に正式版が公開された2系に続くメジャーリリースとなる。効率、拡張性、信頼性の強化にフォーカスして開発しており、「過去最大のリリース」と位置づけている。なお、本バージョンではJava 7対応は削除されており、Java 7を使っているユーザーに対してはJava 8にアップデートするよう求めている。 分散ファイルシステムHDFS（Hadoop Distributed File System）で、レプリケーションに変わるデータの冗長化手法となるErasure Codingを導入した。レプリケーションに比べてオー
Hadoop商用ディストロ「MapR」にストリーム処理--製品の体系と名称を変更
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます オープンソースソフトウェア（OSS）の分散並列処理フレームワーク「Apache Hadoop」の商用ディストリビューションを開発、提供するマップアール・テクノロジーズは4月21日、米本社が開発した企業向け製品の現況を説明した。3月末からストリーミングデータをリアルタイムに処理する「MapR Streams」機能のライセンスを販売開始した。同時に、製品名を従来の「MapR M7」「同M5」「同M3」から「MapR Converged Data Platform」に変更した。 新たな製品名のConverged Data Platform（コンバージドデータプラットフォーム）とは、データの収集と分析に必要な複数の機能群を複数の製品やサーバを組
Hadoop用リアルタイムクエリエンジン Impalaのポテンシャルをレビューした
Hadoop用リアルタイムクエリエンジン Impalaのポテンシャルをレビューした：Databaseテクノロジレポート（1/4 ページ） 2012年10月24日に発表されたばかりのHadoop用リアルタイムクエリエンジンをいち早くレビュー。次期CDHに組み込まれる予定の新機能をどう使いこなす？ Impalaとは Impalaは、Googleが社内で利用しているDremelとF1にインスパイアされて開発されたオープンソースソフトウェアで、HDFS（Hadoop Distributed File System）あるいはApache HBaseに保存されているデータを対象に、アドホックなクエリを実行するためのツールです。Hadoopのディストリビューションベンダとして有名なClouderaが開発しています*1。 Hadoopファミリのソフトウェアは基本的にJava言語で開発されていますが、Imp
Hadoop MapReduce デザインパターン
TOPICS Database , Java 発行年月日 2011年10月 PRINT LENGTH 210 ISBN 978-4-87311-512-2 原書 Data-Intensive Text Processing with MapReduce FORMAT PDF 大量のデータにアクセスすることによって、商業、科学、コンピューティングといった様々な分野において新たな機会が生み出されています。MapReduceは、巨大なデータセットに対する分散処理を実行するプログラミングモデルであり、安価なサーバーからなるクラスタ上で大規模データの処理を行うためのフレームワークです。 本書は、自然言語処理、情報抽出、機械学習などに共通する、テキスト処理のアルゴリズムに重点を置きながら、MapReduceのアルゴリズム設計について解説します。またMapReduceのデザインパターンの概念を説明し、様
Google's MapReduce in 98 Lines of Python
MapReduce is the magic sauce that makes Google run. Not just search but a large part of their infrastructure is programmed in this paradigm. If you want to see how this can be implemented in python, read on. Lately I've been not only learning more python but also learning about the MapReduce algorithm. Naturally I started with the many freely available web resources, from brief overviews to inst
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The next 10 years of Apache Hadoop
IBM SPSS Modeler - ODBC Configuration Best Practices and Troubleshooting
Who Loves Hadoop?
Large-Scale Machine Learning at Twitter [pdf] | Hacker News
Welcome
Good night, Posterous
Protocol Buffers and Hadoop at Twitter
Hacker News | Apache Hadoop Goes Realtime at Facebook (pdf)
Googleの並列ログ解析向け言語「Sawzall」が公開されたので使ってみた | Preferred Research Blog