サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
community.mapr.jp
ホーム / 最新動向 / ニュース / 新オープンソースプロジェクト「Myriadプロジェクト」、Apache YARNとApache Mesosのリソース管理を統合 Apache™ Hadoop®ディストリビューションのトップランクに位置付けられているMapR Technologiesは、本日、大規模データセンタおよびクラウドのリソース管理のためのMesosphereデータセンタオペレーティングシステム(DCOS)を提供するMesosphere社とリソース管理フレームワーク「Myriad」を発表いたします。企業はこのリソース管理フレームワークによって初めて、Apache YARNと企業やクラウドにあるアプリケーションやサービスを並行して実行することが可能となります。MapRとMesosphere、eBayによるオープンソースをベースとした共同開発によるMyriad (GitHubから入手
ホーム / 技術情報 / MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する イントロダクション このブログの投稿では、Mesos、Marathon、Docker、SparkをMapRクラスタ上で展開する手順と、この展開を用いて様々なジョブやDockerコンテナ を実行する手順を説明します。 下記のコンポネントを使用します: Mesos: オープンソースクラスタマネージャー Marathon: クラスタワイドの初期化および管理システム Spark: オープンソースクラスタコンピューティングフレームワーク Docker: ソフトウェアコンテナ内のアプリケーション展開を自動化 MapRコンバージドデータプラットフォーム: 新世代ビッグデータアプリケーションを担う、HadoopやSpark、リアルタイムデータベースケ
Hadoop がホストする Apache Spark は多くのデータを素早く処理するのに優れている。しかし、もしリアルタイムでデータを処理できればもっと良いのではないか?もし迅速な決断があなたのビジネスで大切なら、間違いなく Spark Streaming のような Spark スタックを含む MapR ディストリビューションを検討した方が良い。 リアルタイム ビッグデータ処理の素晴らしい、最新の、革命的ないくつかの使い方を紹介しよう。 クレジットカード詐欺摘発 クレジットカードをスワイプし、レシートにサインをし、買物をする。あなたではない人が。あなたの財布が盗まれたのかもしれない。ハッカーがあなたの情報をどこかのサイトから盗んだのかもしれない。近所のガソリンスタンドでクレジットカードがスキミングに遭い、番号を知られたのかもしれない。どのように起きたとしても、それはクレジットカード詐欺(ビ
こんにちは。私はクリエーションラインの木内と申します。今回はApache SparkとApache Drillの機能・性能を比較し、想定される活用方法について書いてみることにします。 Apache Spark、Apache Drill誕生の背景 データベースの世界ではリレーショナルモデルが考案された1970年代から、構造化されたデータベースに対してクエリを実行し結果を取得するという作業が一般的なものでした。ユーザーは今でも、解析対象のデータを構造化・正規化し然るべきデータベースに投入することで有意なデータと見なし、諸々の解析を行っています。 現在ではほとんど全ての企業活動がコンピュータを使用して行われています。日々取り交わされる電子メールや、オフィス文書、画像、音声といったデータは企業の資産であり、そこから価値が取り出せるのであればより競争優位を確保することができるかもしれません。 少し乱
www.hadoop-times.com
If this is your domain name you must renew it immediately before it is deleted and permanently removed from your account. To renew this domain name visit NameBright.com
「モノ」のインターネット (IoT) について、このシリーズではこれまで、なぜIoTがその性質上ビッグデータに役立つかを明らかにし、IoTの現状を俯瞰し、IoTの実例 (スマートシティやスマートフォン、スマートハウス) のいくつかを調べてきました。 今回の記事では、IoTデータ処理プラットフォームの要求仕様について論じ、この要求仕様を満たす高レベルのアーキテクチャーを紹介します。 IoT対応機器から送られてくるデータを信頼性のある方法で処理する役割を持つデータプラットフォームは、その規模に応じて以下の要求仕様を満たさなくてはなりません。 それぞれのRAWデータに対応すること。データの取り込みとその処理の両方で、このプラットフォームはIoT機器から得られるデータをそのまま扱うことができなくてはなりません。Hadoopなら一般的に、また特にMapRデータプラットフォームならば、入力データをその
Apache Drillは、急成長しているオープンソースプロジェクトの1つであり、その月毎のリリースに伴い、このコミュニティも飛躍的に進歩しています。最新のDrill 0.6リリースも、このプロジェクトにとって重要なマイルストーンでした。今回のリリースでは、(現在既に対応済みのファイルシステム、HBase、および、Hiveソースに加え) MongoDBに直接SQLクエリを行えるようになる等、重要な強化や、数多くのパフォーマンスおよびSQL関連の改善が行われ、パワーアップしました。 この記事では、Drillの主な使用法の1つである、SQLを使用してHadoop/NoSQLシステムに送られてくる生データを調査・分析する方法を簡単にご紹介したいと思います。 “ちょっと待って、それって普通に出回っているどのSQL-on-Hadoopシステムでもやっていることじゃないかって?” その通りです。 です
抄訳リリース 2014/09/10 マップアール・テクノロジーズ株式会社 MapRのベンチマークで 毎秒1億のデータを取り込むことに成功 クラスター上で展開された画期的な結果により、新たにIoT向けアプリケーションとリアルタイムデータ解析への扉が開かれた Hadoopディストリビューションのトップランクに位置付けられている米国マップアール・テクノロジーズ社(本社:米国カリフォルニア州、以下MapR)は、本日のタブローカンファレンスで、標準のオープンソース・ソフトウェアであるOpenTSDBをMapR Distribution上で動作させて画期的な性能が得られたことを発表しました。同社のNoSQLデータベースである「MapR-DB(M7)」で、10ノード・クラスターのうちわずか4ノードだけを利用して、毎秒1億データポイント以上を処理しました。 OpenTSDBの性能を1,000倍に加速させた
Hadoop Times > 最新動向 > 電通レイザーフィッシュ、次世代コミュニケーションプラットフォーム(NGCP)にMapRのHadoopを採用 2014年9月4日 マップアール・テクノロジーズ株式会社 電通レイザーフィッシュ、 次世代コミュニケーションプラットフォーム(NGCP)にMapRのHadoopを採用 ビッグデータを活かし、企業と顧客のより良いコミュニケーションと体験を提供 マップアール・テクノロジーズ株式会社(本社:東京都千代田区、以下MapR)は、株式会社電通レイザーフィッシュ(本社:東京都中央区、代表取締役社長:得丸 英俊、以下 レイザーフィッシュ)の持つソリューション「次世代コミュニケーションプラットフォーム(NGCP)」にMapRのHadoopを採用し、情報(ビッグデータ)活用による企業と顧客間のコミュニケーションのサポート、リアルタイム分析を含めたサービス強化を
最近、MapR TechnologiesのCTOであり共同創業者のM.C. Srivasは、Spark Summit 2014において「Spark on Hadoopが重要な理由」について発表しました。インメモリ・プロセシング・フレームワークを備えたSparkは、Hadoop上で補完的なフルスタックを提供し、これはMapRの顧客にとってすばらしい兆候を示すものです。M.C. Srivasはこのような使用例のいくつかを提示し、SparkとHadoopの統合がどのようにして、そしていつ、エンドユーザーへ最善の価値をもたらすのか、議論しました。 この発表のいくつかの要点は、次のようなものです。 Apache HadoopとOSSエコシステムは急速に進化しています。MapRはHadoopエコシステムの多くの部分を、MapRデータプラットフォームの一部として提供しています。 より簡単なAPIやPyt
今年5月、国連は気候変動に関する新たな取り組み「ビッグ・データ・クライメイト・チャレンジ」を開始した。このイニシアティブは国連事務総長が開催した2014年国連気候サミットに関連したものです。「ビッグ・データ・クライメイト・チャレンジ」の主要な目的の1つは、ビッグデータを活用して気候変動への対策を明らかにすること、特に「気候変動の経済的側面のデータに基づいた証拠を公開すること」です。「ビッグデータ・クライメイト・チャレンジ(BDCC)」の詳細情報はウェブサイトhttp://unglobalpulse.org/big-data-climate/で確認することができます。 FierceBigData.comの記事によると、国連は気候変動が経済にもたらす影響を明らかにすることができる、気候関連のデータ・プロジェクトを求めています。BDCCへの応募締め切りは6月30日(既に終了しました)。プロジェク
※オライリー・ジャパンの「実践 機械学習 〜レコメンデーションにおけるイノベーション〜」が無料でダウンロードいただけます。 “Practical Machine Learning”の日本語版が登場 機械学習とレコメンデーションにおける、もっとも洗練され、効率的なアプローチの1 つに至る鍵は、「仔馬が欲しい」という状況の観察の中にあります。実際のところ、シンプルながら強力なレコメンデーションシステムを構築することは、多くの人々が考えるよりはるかに容易であり、「仔馬が欲しい」ということは、その鍵の一部なのです。 機械学習は、特に巨大なデータセットを扱う場合、うんざりするような作業になることがあります。どれを選べばいいのかめまいがするほどの数多くのアルゴリズムがあり、それらの中から選択をするためだけでも、選択肢を理解し、合理的な判断を行うのに必要な、高度な数学の背景知識を十分に持っていることが前
“Practical Machine Learning”の日本語版が登場 機械学習とレコメンデーションにおける、もっとも洗練され、効率的なアプローチの1 つに至る鍵は、「仔馬が欲しい」という状況の観察の中にあります。実際のところ、シンプルながら強力なレコメンデーションシステムを構築することは、多くの人々が考えるよりはるかに容易であり、「仔馬が欲しい」ということは、その鍵の一部なのです。 機械学習は、特に巨大なデータセットを扱う場合、うんざりするような作業になることがあります。どれを選べばいいのかめまいがするほどの数多くのアルゴリズムがあり、それらの中から選択をするためだけでも、選択肢を理解し、合理的な判断を行うのに必要な、高度な数学の背景知識を十分に持っていることが前提になります。選択肢も変化しており、非常に頭がよく、きわめて熱心な研究者たちの作業の結果として、常に進化を続けています。こう
分散ストレージソフトウェアを一覧表としてまとめたものです。 機能や特徴をご比較下さい。 PDF版はこちら 分散ストレージソフトウェアの種類 種別 POSIX互換 メタデータ管理 分散単位 開発元 API
Hadoopタイムスはビッグデータを企業システムで扱うためのHadoop情報サイトです。
ポニーの群れからシマウマを探す By エレン·フリードマン(MapR Technologies ビッグデータ・コンサルタント Apache Mahoutコミッター) オライリー社の実践機械学習シリーズの第2弾、テッド・ダニング氏との共著「異常検出の最新」が今週発行されました。以前の著作ではレコメンデーションに対する実践的なアプローチを取り上げ、皆さんが「ポニーが必要である」と考えるというところから始めました。第2弾では、ポニーの群れにいるシマウマ、群れの動きに逆らって泳ぐ魚のような稀に起こりうる異常値の発見について考えます。今回の目的は、どのように実践的な機械学習システムを構築すれば異常を発見できるか探ることです。このシリーズの目標は、実際の現場で必要とされる作業を考慮して問題解決を探っていくことです。 なぜ異常検出を使うのでしょうか? この手法への需要は広がり成長し続けています。異常検出
[PDF] Hadoopをさらに加速させる革新的テクノロジーMapR(05/21) MapRは、HiveやPig、Oozieといったエコシステムについて検証したうえで製品パッケージとして提供されます。また、企業利用を見据え、優れた運用性に焦点をあてた革新的なアーキテクチャーをApache Hadoopに […] MapR Streams 動作デモ(01/05) MapR Streamsは、高い信頼性を有し、データの提供側と利用側を情報の共有により結びつけるグローバルなイベントストリーミングシステムです。 この動画では、...続きを読む 「データ分析まるわかりセミナー ~インフラから分析まで~」資料ダウンロードページ(12/11) 2015年12月に開催しました当セミナーにつきまして、多数のご参加をいただきありがとうございました。当日の講演資料を提供させて頂きます。 この資料で更なるご理解.
このページを最初にブックマークしてみませんか?
『Hadoopのすべてがわかる - Hadoop Times Produced by MapR』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く