You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
祝10周年! ハッピーバースデイ Apache Hadoopミートアップとは? 今年Apache Hadoopとそのコミュニティは誕生から10年目を迎え、世界中で使われているビッグデータのプラットフォームであるHadoopの生みの親Doug Cutting が来日決定!Hadoopは2006年からのコアコントリビューター数は800名以上。様々なプロジェクトがこの10年の間に生まれています。この区切りの年に、これまでの10年、そしてこれからのHadoopのあり方を含めて語らうミートアップを開催します! 本ミートアップ参加上のご注意 ◆ 本ミートアップのみ参加したい方 Connpassで参加受付ください。 ◆ 本ミートアップのみならず、Cloudera World Tokyoの基調講演やブレークアウトセッション、特別対談等に参加したい方 本ミートアップは同日11/8に行われる国内最大級のHad
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Apache Hadoopに関連するMicrosoft AzureのサービスとHortonworks製品についての勉強会が7月19日に開催された。この会は、世界39都市で行われているビッグデータ関連のミートアップコミュニティー「Future Of Data」の活動の一環として、日本マイクロソフトとホートンワークスジャパンの主催で実施されたもの。会場の日本マイクロソフト品川本社のセミナールームには約130人の聴講者が集まった。 「Data at Rest」と「Data in Motion」 まず始めに、ホートンワークスジャパンの北瀬公彦氏が、6月28~30日に米国San Joseで開催された「Hadoop Summit 2016 San
Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです
Dataproc is a fully managed and highly scalable service for running Apache Hadoop, Apache Spark, Apache Flink, Presto, and 30+ open source tools and frameworks. Use Dataproc for data lake modernization, ETL, and secure data science, at scale, integrated with Google Cloud, at a fraction of the cost. Flexible: Use serverless, or manage clusters on Google Compute and Kubernetes. Deploy a Google-recom
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア(データ処理系)が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
米GoogleがC/C++コードを「Apache Hadoop」上で動かすためのフレームワーク「MapReduce for C(MR4C)」をオープンソースで公開した。HadoopはJavaベースで実装されているが、このフレームワークを利用することで、C/C++で書かれたアプリケーションを直接Hadoop上で動かすことができる。 Apache HadoopはJavaで作成されたビックデータ分散処理技術。今回公開されたMapReduce for C(MR4C)はHadoop実行フレームワーク内でC/C++コードをネイティブに動かすことができるフレームワーク技術で、ネイティブコードで実装されたアルゴリズムが持つ性能と柔軟性を利用できるとしている。 作成されたアプリケーションは、ローカルのファイルシステムや任意のURI(Uniform Resource Identifier)にアクセスするネイテ
日本電信電話株式会社(東京都千代田区、代表取締役社長:鵜浦 博夫、以下:NTT)および株式会社NTTデータ(本社:東京都江東区、代表取締役社長:岩本 敏男、以下:NTTデータ)から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop(以下:Hadoop)およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史(NTTソフトウェアイノベーションセンタ)、鯵坂 明、岩崎 正剛(NTTデータ 基盤システム事業本部)の3名が就任することになりました。 コミッタとは、Hadoopの開発やメンテナンスにおいて、プログラムを書き換える権限(コミット権)を持つ主要開発者のことで、現在、Hadoopの開発に関与している全世界で約3,000名のうち、コミッタはごく一部[約100名(2014年12月)]に限られています。Hadoopにおいては、
日本電信電話株式会社(東京都千代田区、代表取締役社長:鵜浦博夫、以下NTT)および株式会社NTTデータ(本社:東京都江東区、代表取締役社長:岩本 敏男、以下:NTTデータ)から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop(以下Hadoop)およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢健史(NTTソフトウェアイノベーションセンタ)、鯵坂明、岩崎正剛(NTTデータ 基盤システム事業本部)の3人が就任することになりました。 コミッタとは、Hadoopの開発やメンテナンスにおいて、プログラムを書き換える権限(コミット権) を持つ主要開発者のことで、現在、Hadoopの開発に関与している全世界で約3,000人のうち、コミッタはごく一部[約100人(2014年12月)]に限られています。Hadoopにおいては、日本企業か
[PDF] Hadoopをさらに加速させる革新的テクノロジーMapR(05/21) MapRは、HiveやPig、Oozieといったエコシステムについて検証したうえで製品パッケージとして提供されます。また、企業利用を見据え、優れた運用性に焦点をあてた革新的なアーキテクチャーをApache Hadoopに […] MapR Streams 動作デモ(01/05) MapR Streamsは、高い信頼性を有し、データの提供側と利用側を情報の共有により結びつけるグローバルなイベントストリーミングシステムです。 この動画では、...続きを読む 「データ分析まるわかりセミナー ~インフラから分析まで~」資料ダウンロードページ(12/11) 2015年12月に開催しました当セミナーにつきまして、多数のご参加をいただきありがとうございました。当日の講演資料を提供させて頂きます。 この資料で更なるご理解.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く