データセンターなんでもランキングmonthly(2023年4月) 「4kVA以上が使える」ラック料金ランキング掲載開始!データセンター選択の際にポイントとなる各種指標をランキング形式で紹介
[速報]Googleが「Google Compute Engine」発表! IaaS型クラウドでAmazonクラウド対抗へ。Google I/O 2012 Googleは現在サンフランシスコで開催中のイベント「Google I/O」において、IaaS型クラウドの「Google Comute Engine」を発表しました。 これまでGoogleはクラウド上でPythonやJavaを実行できる「Google App Engine」を提供してきましたが、新しい「Google Compute Engine」はLinux仮想マシンをオンデマンドで提供するIaaS型のクラウドです。ストレージサービスとなる「Google Cloud Storage」も発表されました。 Google I/OでのGoogle Compute Engine発表 GoogleのSVP Technical Infrastruct
MapR Hadoopディストリビューションにおいて、メモリがどのように割り当てられているかは一見わかりにくいので、図を使いながら詳細を解説していきましょう。なお、説明はMapR 5.0のYARN構成がベースになっています。YARNアプリケーションのメモリ割り当ての説明以降は、どのHadoopディストリビューションでも同じなので広く参考になると思います。 MapRのサービスのメモリ割り当て MapRでは各ノードで管理や処理を担うプロセスを「サービス」として定義しています。一般的なHadoopにも存在するYARNのResourceManagerやNodeManagerといったサービスもあれば、HDFSの代わりにファイルシステムの機能を提供するMapR-FSやCLDBのようなサービスや、NFSサーバ機能を提供するNFSサービス、Web UI機能を提供するMapR Control Systemサ
ポニーの群れからシマウマを探す By エレン·フリードマン(MapR Technologies ビッグデータ・コンサルタント Apache Mahoutコミッター) オライリー社の実践機械学習シリーズの第2弾、テッド・ダニング氏との共著「異常検出の最新」が今週発行されました。以前の著作ではレコメンデーションに対する実践的なアプローチを取り上げ、皆さんが「ポニーが必要である」と考えるというところから始めました。第2弾では、ポニーの群れにいるシマウマ、群れの動きに逆らって泳ぐ魚のような稀に起こりうる異常値の発見について考えます。今回の目的は、どのように実践的な機械学習システムを構築すれば異常を発見できるか探ることです。このシリーズの目標は、実際の現場で必要とされる作業を考慮して問題解決を探っていくことです。 なぜ異常検出を使うのでしょうか? この手法への需要は広がり成長し続けています。異常検出
HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と
この記事は Hadoop アドベントカレンダー 2011 の16日目の記事です。 今年の5月にMapR Technologies社から発表された、独自実装のHadoopディストリビューション(以降、単純にMapRと呼びます)ですが、そのユニークな特徴やオープンソース実装のはるか先をいく先進性から、いろいろなところで注目を集めています。ただ、非常に多彩な機能を持ちながら、これどうやって実現しているの、という風に思っている方も多いと思います。私はお仕事柄MapRの実装を若干詳しく知る立場におりますので、MapRの中身を少し掘り下げてみたいと思います。 MapRはHadoopのどこを改良しているのか MapR TechnologiesはもともとGoogleでGFS、BigTable、MapReduceなどの検索基盤技術を担当していたエンジニア M.C. Srivas 氏などが中心となって3年ほど
Hadoop distributions as of 20131231 from shingo furuyama 去年というか今年の初めに書いたものが割と評判がよかったので今年もやってみました。 Slideshareの仕様かなにかわかりませんが、透過しないはずのオブジェクトが透過される扱いになって絵が汚くなってしまったので、bmpをpptに張り付けるという最終的によくわからない方法でSlideshareに乗せることになってしまいましたが、遠目に見る分には問題なさそうなのでこれで。 文章そのものは去年というか今年の雰囲気だとあまり読まれていなかったようなので、今年も適当に各ディストリビューションについてあれしようかと思います。僕としてはなにを議論したいかというのはあまりなくて、今年というかHadoopを触っていたころに思っていたことをフラッシュしてる感じです。去年というか今年の初めはHado
1. MapR & マルチテナント (include Mesos検証) Hadoopソースコードリーディング 第8回 2012/02/08 (水) 中野 猛 (RECRUIT) @tf0054 - 発表内容 - 高林 貴仁 (RECRUIT) 1. 性能検証 @tatakaba 大坪 正典 (NSSOL) 2. 機能検証(マルチテナント検証) @tsubo0423 3. リクルートにおけるMapRの評価 Copyright(C)2012 Recruit Co.,Ltd All rights reserved 3. DOC.ID 2012/02/08 1. 性能検証 検証内容 サマリ処理のバッチは中古車サイトで実際に行われてい た3つ処理をHiveに置き換え、非パーティション+非圧縮 とパーティション+圧縮の2パターンを測定し検証の実施 VCA01 – 20Tableから、5つのTem
先日MapR勉強会に参加した、というか主催者だったので、一応まとめ。 細かい内容とかは以下にまとめてくださった方々がいらっしゃるので感謝でございます。 @znj6さん MapR(GreenPlumHD)の中身説明会参加 http://zenjiro.wordpress.com/2012/01/19/inside-mapr-briefing/ @johtaniさん 2012.01.20 Friday MapR中身説明会に参加しました。 http://johtani.jugem.jp/?eid=57 t_otodaさん [Hadoop][MapR]MapR(GreenPlumHD)の中身説明会に参加してきました。 http://tech.hatenablog.com/entry/2012/01/19/234644 moguzoさん 「MapR(GreenPlumHD)の中身説明会」に参加してき
分散バッチ処理ソフト「Hadoop」の独自強化版を販売する米マップアール・テクノロジーズ(MapR Technologies)は2013年9月19日、日本法人を設立し、営業を本格的に開始したと発表した。マップアールは自社開発した分散ファイルシステム「MapR-FS」を使用するHadoopのディストリビューション「MapR M5」「同M7」などを販売する。日本でのパートナーとして、新日鉄住金ソリューションズとノーチラス・テクノロジーズの2社と契約した。 マップアールは、米グーグルで、分散データベース『BigTable』の開発チームにいたエンジニアがCTO(最高技術責任者)を務めるベンチャー企業で、オープンソースソフトウエア(OSS)である「Apache Hadoop」をベースに、性能や可用性などを強化した。例えば、分散ファイルシステムとして、Hadoop標準の「HDFS」ではなく、C/C++
5. © MapR Technologies, confidential ® South Pacific Ocean North Pacific Ocean North Pacific Ocean Indian Ocean Arctic Ocean North Atlantic Ocean South Atlantic Ocean Zimbabwe Zambia Yemen Vietnam Somoa Venezuela Vanuatu Uzbekistan Uruguay United States U. K. U.A.E. Ukraine Uganda Turkmenistan Turkey Tunisia Trinidad & Tobago Tonga Togo Thailand Tanzania Tajikistan Syria Switz. Sweden Swaziland Surin
効率的に並列分散処理が行えるHadoopのアーキテクチャは、ビッグデータ時代にかなり有効な仕組みだろう。「とはいえ、Hadoopをいざ企業が利用しようとすると、さまざまな問題が発生します。発生する問題の多くは、Hadoopの分散処理を実現するためのファイルシステム『HDFS』にあります」と述べるのは、マップアール・テクノロジーズのセールスディレクター 平林良昭氏だ。 このHDFSの課題を解決するために、MapRでは独自のMapRファイルシステムを生み出した。そのMapRファイルシステムのLockless Storage Serviceアーキテクチャを考え出したのが、同社の創業メンバーでありChief Technology OfficerのM.C. Srivas氏。彼は、NetAppの前身であるSpinnaker NetworksでChief Architectを勤めた人物であり、専門はファ
Hadoopの利用が広がっている。その最大の魅力を、米マップアールの創業者であるM.C.スリバス氏は、データの存在する場所でスケールする高速な処理が可能な基盤を提供できることにあると話す。だが、ビジネスで使えるものにするには、信頼性の向上が不可欠だったという。 米マップアール・テクノロジーズ(以下、マップアール)の共同創業者でCTOのM.C.スリバス(M.C. Srivas)氏は、同社の提供するHadoopディストリビューションについて、「(他のHadoopディストリビューション提供企業を含む)既存のベンダに、競合となるところはない、あるとすればそれは、私のまだ知らないスタートアップ企業だ」と話す。 米グーグルの主要な検索チームの1つを率いていたスリバス氏が退社し、マップアールを立ち上げたのは2009年。同氏のチームはもちろん、MapReduceアルゴリズムやBigtableを駆使していた
MapR(GreenPlumHD)の中身説明会に参加しました。「HadoopのC++実装らしい。」程度の予備知識しかない状態で参加したので、知らないことが多くて面白かったです。 思ったことなど MapRはEMCと提携していたのか。知らなかった。 MapR-FSは普通のファイルシステムは経由せずに、ブロックデバイスをそのまま使っている。 へー。 ビルトイン圧縮は拡張子で判断して圧縮の有効/無効を切り替えているのが面白い。jarやpptxをはじめ、最近はほとんど実態はzipな気がするので、ちゃんとフォーマットを見ないとダメでしょう。全然詳しくないけど、普通最初の4バイトくらいで判別できるんじゃないの? 実機デモのサクサク感がすごかった!WebUI※1とNFSマウントしたときの操作※2。 「すげー速いよ。品質いいよ。」とは言っているけど、デモがサクサクなの以外は言っているだけだった。NTTデータ
11/12(火)にMapR~技術とかロードマップとか黒幕の本社CTOがいろいろ説明するわけよ。に参加してきたので、その参加レポートを書きます。以下のように前半はスライドを元にMapRの説明、後半は質疑応答という構成でした。 18:15-19:00 MapR アーキテクチャ概要 19:00-20:00 質疑応答 一応、日本語による質問は可能だったんですが、質問者も半分ぐらいは英語で質問していことに加え、内容自体も高度であったため3割程度の理解度だったりします。ですので、その辺りは察していただけると助かります。なお、Srivasさんの英語は日本人向けにかなり聞きやすく話していてくれて気はします。恐らく。。 MapR アーキテクチャ概要 MapRのCTO兼FounderであるM. C. SrivasさんによるMapRの説明です。当然ですが英語です。ただし、スライドは翻訳されていたのでそこを手掛か
EMCジャパンとノーチラス・テクノロジーズは2012年1月19日、分散バッチ処理ソフト「Hadoop」を基幹系システムのバッチ処理に適用するソリューションで協業すると発表した。EMC版のHadoopディストリビューション「Greenplum HD Enterprise Edition(EE)」と、ノーチラスのアプリケーションフレームワーク「Asakusa Framework」を組み合わせて提供する。 EMCは同日、Greenplum HD EEの日本市場での販売を開始した。Greenplum HD EEは、Apacheソフトウエア財団のオープンソースソフトウエア(OSS)である「Apache Hadoop」をベースに、性能や可用性などを強化したディストリビューションだ。分散ファイルシステムとして、標準の「HDFS」ではなく、米MapRテクノロジーズが開発した「MapR FS」を採用。C/C
Hewlett Packerd Enterprise(HPE)は、主要なHadoopディストリビューションベンダの1つであったMapR Technologiesの持つ技術や知財などのビジネス資産を買収すると発表しました(HPEの発表、MapRの発表)。 MapR is now part of @HPE! Exciting things ahead! Find out more in this new blog post: "HPE Welcomes MapR Community" https://t.co/CwWmIs9Fv1 pic.twitter.com/Thxd78o5PU — MapR Technologies (@mapr) August 5, 2019 MapRは今年の6月に大規模なリストラを行ったことが明らかになり、身売りの交渉をしているのではないかとされていました。 Map
米MapR Technologiesは、企業向けに性能や可用性を高めたHadoop互換ソフトを開発しているベンダーである。国内では、OEM(相手先ブランドによる生産)製品の「EMC Greemplum MR」(旧称はGreemplum HD)が先行して販売されてきた。2013年4月には、日本法人「マップアール・テクノロジーズ」を設立。9月19日には、国内販売代理店2社(ノーチラス・テクノロジーズと新日鉄住金ソリューションズ)と正式にパートナー契約を交わしたことを発表。これにより、今後はEMC Greemplum MRに加え、自社ブランドでも日本市場で展開することになった。同社幹部に、ユーザーから見た自社ブランド製品の意義を聞いた。 大きく二つある。一つは、販売チャネルが広がることだ。これまで日本市場に提供してきたEMC Greemplum MRの販売チャネルに加えて、オリジナルブランドの製
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Details the first ever Exabyte-scale system that can hold a Trillion large files. Describes MapR's Distributed NameNode (tm) architecture, and how it scales very easily and seamlessly. Shows map-reduce performance across a variety of benchmarks like dfsio, pig-mix, nnbench, terasort and YCSB.Read less
EC2上にMapRサーバが用意できたので、次はクライアントWindows上に開発環境を構築する。 まずは、王道でMapReduceをJavaで開発してみることにした。 JavaといえばEclipse!!! ってことで、EC2×MapR×Eclipseで開発環境を作ってみることにした。 試行錯誤をした結果の手順をメモしておく。 ①Javaのインストール 開発担当のWindows環境にJDKをインストールする。 MapRが中で持つhadoopが0.20.2なので、そのhadoopが動くJavaなら何でも良いと思うが、MapRの動作要件がJava SE 1.6.0_24以降なので、念のため、その要件は満たしておいた方が良いだろう。 ②Eclipseのダウンロード&解凍 依存関係が面倒なので、私はいつも日本語化されたAll in One Eclipseを使っている。 ここでも、以下からダウンロード
http://bit.ly/1BTaXZP – Apache Spark is currently one of the most active projects in the Hadoop ecosystem, and as such, there’s been plenty of hype about it in recent months, but how much of the discussion is marketing spin? And what are the facts? MapR and Databricks, the company that created and led the development of the Spark stack, will cut through the noise to uncover practical advantages fo
WELCOME TO HPE E Z M E R A L LEARN ON-DEMAND Click a tile and start your journey
ニュース ビジネス 「MapRはいずれ淘汰される」「非構造化データ? 全部構造化データだよ」- テラデータのキャラ立ちCTO・ブロブストさん発言まとめ つい最近まで暑い暑いと騒いでいたのにいつの間にかコートにマフラーという季節になり、ひしひしと迫ってくる年末感にただただおびえる今日このごろ、読者の皆様はいかがお過ごしでしょうか。忙しくなる一方のこの時期に風邪など引いてしまうとエライことになってしまうので、体調管理には十分お気をつけのほどを。 今回も前回に引き続き、10月後半に米ワシントンDCで開催されたテラデータの年次ユーザカンファレンス「PARTNERS 2012」で拾ったネタをご紹介したいと思います。筆者は昨年もPARTNERSに参加させていただいたのですが、そこで初めて同社のCTOであるスティーブン・ブロブスト(Stephen Brobst)さんのセッションに参加し、アロハシャツをま
SQL is one of the most widely used languages to access, analyze, and manipulate structured data. As Hadoop gains traction within enterprise data architectures across industries, the need for SQL for both structured and loosely-structured data on Hadoop is growing rapidly Apache Drill started off with the audacious goal of delivering consistent, millisecond ANSI SQL query capability across wide ran
米MapR Technologiesは12月6日(米国時間)、「Apache Hadoop」を容易に利用できる「MapR Distribution 1.2」を発表した。Apache Hadoopや関連コンポーネントをまとめて配布する「Hadoopディストリビューション」で、本バージョンではWindowsとMac OS Xの両クライアントのネイティブサポートなどが加わっている。 MapRはApache Hadoopを専業とするベンチャー企業で、企業がHadoopを容易に利用できるようディストリビューションを開発している。5月にHadoopをベースに独自機能を加えたものを初公開しており、今回はそのアップデートリリースとなる。 バージョン1.2では、C/C++ APIのサポートを拡大した。C/C++ libhdfsの実装によりJava仮想マシンを回避してファイルシステムにアクセスできるようになっ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます オープンソースソフトウェア(OSS)の分散並列処理フレームワーク「Apache Hadoop」の商用ディストリビューションを開発、提供するマップアール・テクノロジーズは4月21日、米本社が開発した企業向け製品の現況を説明した。3月末からストリーミングデータをリアルタイムに処理する「MapR Streams」機能のライセンスを販売開始した。同時に、製品名を従来の「MapR M7」「同M5」「同M3」から「MapR Converged Data Platform」に変更した。 新たな製品名のConverged Data Platform(コンバージドデータプラットフォーム)とは、データの収集と分析に必要な複数の機能群を複数の製品やサーバを組
MC Srivas spent nearly two years at Google, running one of its search infrastructure teams, and in the summer of 2009, he left the company to found a startup that aims to take the ideas behind Google’s top-secret infrastructure and deliver them to the average business. The startup is called MapR, and like so many other outfits, it offer a product based on Hadoop, the open source version of the Goo
前回までに、Redhut Enterprise Linux の EC2 を用意できたので、 ついにそこにHadoopをインストールしてみる。 Hadoopと一言で言っても、現在は、 Apache Hadoop本家のオープンソースプロジェクトCDHApache HadoopをベースにCloudera社がパッケージングし、サポートを行うものMapRApache Hadoopと互換を保ちつつ、米MapR社がHDFS層をC++で再実装したものと、いくつかのリビジョンが存在する。 それぞれ、CDHもMapRもCommunity版が存在するし、MapRも30日試用フル機能ライセンスも あるので、どれを選んでもとりあえずは問題ない。 ここでは、私が使い慣れているっていうのと、CDHならブログとして面白くないって意味もあり、 MapRをインストールするものとする。 シングルノードのMapRのインストール方
Hadoop World Back before the Hadoop Distributed File System (HDFS) came out of stealth mode in May 2011, Hadoop distie MapR Technologies didn't like the way it worked, so it rejigged it to look more like a Unix file system from the outside and beefed up its availability. Now, MapR is taking aim at Hadoop's HBase distributed database layer, which allows customers to run SQL queries against informat
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く