Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Hadoop Times > 最新動向 > 電通レイザーフィッシュ、次世代コミュニケーションプラットフォーム(NGCP)にMapRのHadoopを採用 2014年9月4日 マップアール・テクノロジーズ株式会社 電通レイザーフィッシュ、 次世代コミュニケーションプラットフォーム(NGCP)にMapRのHadoopを採用 ビッグデータを活かし、企業と顧客のより良いコミュニケーションと体験を提供 マップアール・テクノロジーズ株式会社(本社:東京都千代田区、以下MapR)は、株式会社電通レイザーフィッシュ(本社:東京都中央区、代表取締役社長:得丸 英俊、以下 レイザーフィッシュ)の持つソリューション「次世代コミュニケーションプラットフォーム(NGCP)」にMapRのHadoopを採用し、情報(ビッグデータ)活用による企業と顧客間のコミュニケーションのサポート、リアルタイム分析を含めたサービス強化を
by EMC Labs China, Xiang Dong Original Article in Chinese: http://qing.weibo.com/2294942122/88ca09aa330003zv.html Translated by fcicq ( @fcicq & id:fcicq) (fcicq: This is #20 entry for Hadoopアドベントカレンダー2011 http://www.zusaar.com/event/174001 Thanks to id:nagixx for http://d.hatena.ne.jp/nagixx/20111216/1324006829 , but I still wondering what will he write next :) I'm working on restoring my own Chi
Lot of workloads exist for Big data, batch, machine learning, search, interactive SQL, Operational/user facing applicationsApache Drill fits into the interactive SQL category Analytics on Semi-Structured/Nested dataUse standard SQL to query Nested data without upfront flattening/modelingExtensions to ANSI SQL to operate on nested dataGeneric architecture for a broad variety of nested data types (e
効率的に並列分散処理が行えるHadoopのアーキテクチャは、ビッグデータ時代にかなり有効な仕組みだろう。「とはいえ、Hadoopをいざ企業が利用しようとすると、さまざまな問題が発生します。発生する問題の多くは、Hadoopの分散処理を実現するためのファイルシステム『HDFS』にあります」と述べるのは、マップアール・テクノロジーズのセールスディレクター 平林良昭氏だ。 このHDFSの課題を解決するために、MapRでは独自のMapRファイルシステムを生み出した。そのMapRファイルシステムのLockless Storage Serviceアーキテクチャを考え出したのが、同社の創業メンバーでありChief Technology OfficerのM.C. Srivas氏。彼は、NetAppの前身であるSpinnaker NetworksでChief Architectを勤めた人物であり、専門はファ
草薙 昭彦 @nagix 現行HBaseの色々な課題(コンパクションやリージョン分割・マージなどを意識する必要があり運用管理が難しい、障害復旧に時間がかかる、等)は、HDFSのダメさ具合とHadoopの分散システムの中にHBaseの分散システムを構築するという複雑さが主な要因になっている 2012-12-20 14:03:51 草薙 昭彦 @nagix HDFSはWrite Onceのファイルシステム。分かりやすく例えるとCD-Rのようなもの。ファイルのわずかな部分を書き換えるために全てのデータを読み込んでメモリ上で一部分を更新し、全てのデータを書き込む必要がある。ファイルシステムといいつつプリミティブな機能しか備えていない 2012-12-20 14:18:15 草薙 昭彦 @nagix MapRが行った改良はこのHDFSをMapR-FSに置き換えて同時アクセス・ランダムR/W可能な先進
3. たとえば… ⾼速性 他の Hadoop YCSB Benchmark MapR 3.0.1 YCSB Benchmark 3.0.1 ディストリビューション M7 Advantage デ トリビ シ d (M7エディション) (ops/sec/node) (HBase) 50% read, 50% update 50% read 50% update 7965 2918 2.7x 2 7x 95% read, 5% update 3850 1541 2.5x Random Read 5934 865 6.9x Range Scan (50 rows) Range Scan (50 ) 838 274 3.1x 3 1x Hardware Configuration ©MapR Technologies ‐ Confidential CPU : Intel® Xeon®
Details the first ever Exabyte-scale system that can hold a Trillion large files. Describes MapR's Distributed NameNode (tm) architecture, and how it scales very easily and seamlessly. Shows map-reduce performance across a variety of benchmarks like dfsio, pig-mix, nnbench, terasort and YCSB.Read less
この記事は Hadoop アドベントカレンダー 2011 の16日目の記事です。 今年の5月にMapR Technologies社から発表された、独自実装のHadoopディストリビューション(以降、単純にMapRと呼びます)ですが、そのユニークな特徴やオープンソース実装のはるか先をいく先進性から、いろいろなところで注目を集めています。ただ、非常に多彩な機能を持ちながら、これどうやって実現しているの、という風に思っている方も多いと思います。私はお仕事柄MapRの実装を若干詳しく知る立場におりますので、MapRの中身を少し掘り下げてみたいと思います。 MapRはHadoopのどこを改良しているのか MapR TechnologiesはもともとGoogleでGFS、BigTable、MapReduceなどの検索基盤技術を担当していたエンジニア M.C. Srivas 氏などが中心となって3年ほど
1. MapR & マルチテナント (include Mesos検証) Hadoopソースコードリーディング 第8回 2012/02/08 (水) 中野 猛 (RECRUIT) @tf0054 - 発表内容 - 高林 貴仁 (RECRUIT) 1. 性能検証 @tatakaba 大坪 正典 (NSSOL) 2. 機能検証(マルチテナント検証) @tsubo0423 3. リクルートにおけるMapRの評価 Copyright(C)2012 Recruit Co.,Ltd All rights reserved 3. DOC.ID 2012/02/08 1. 性能検証 検証内容 サマリ処理のバッチは中古車サイトで実際に行われてい た3つ処理をHiveに置き換え、非パーティション+非圧縮 とパーティション+圧縮の2パターンを測定し検証の実施 VCA01 – 20Tableから、5つのTem
草薙 昭彦 @nagix MapRはOSファイルシステムではなくブロックデバイスに直接アクセスすることでオーバーヘッドを削減している。ディスクはデフォルトで3本を1単位としてストレージプールを構成し、その中でソフトウェアRAID-0的にストライプしている。このためディスクは3本単位で構成するのがおすすめ 2012-03-24 01:11:53 草薙 昭彦 @nagix MapRのボリューム機能は、ファイルシステムを論理的に分割して異なる運用管理ポリシーを適用できるしくみ。ボリュームごとにスナップショットや容量上限、レプリケーション数等を指定可能。よく誤解があるがあくまで論理的な管理単位なので下回りのサーバノードやディスクはボリューム間で共用する 2012-03-26 23:48:46 草薙 昭彦 @nagix MapRではラックやネットワークスイッチなどの物理配置に基づいてサーバノードを「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く