Hadoop vs MPPデータベース
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 2013-05-27 14:22:05 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。 2013-05-27 14:22:50
株式会社ノーチラス・テクノロジーズ
劔＂Tsurugi＂ 新しいハードウェアアーキテクチャ（メニーコア・大容量メモリー）に合わせた設計思想で、 性能を最大限に発揮するデータベース Asakusa Framework 業務システムのバッチに並列分散処理の能力を活用するためのフレームワークです。大容量のデータ・複雑な処理を多数のコンピューターに分割して処理し、従来のシステムでは難しかった処理も実現できます。 Asakusa on M³BP Asakusa on M³BPは、分散処理の開発フレームワークであるAskausa Frameworkと、マルチコア環境でDAG形式で並列処理をするインメモリエンジンのM³ for Batch Processing（略称：M³BP）を組み合わせたデータ処理高速化のソリューションです。フィックスターズ社との共同開発でOSSとして公開しています。
会社を作りました。 - 急がば回れ、選ぶなら近道
さて、会社を作った。 （元）EC-ONEの最首さんと一緒につくった。 EC-ONE側は、SI事業をウルシステムズへ統合して、分社化する。 僕らのチームがそのままEC-ONEに移動し、そして新しい会社を作る。 分散をやっているEC-ONEの福岡のチームと合流して、 分散技術や次世代の技術を業務に活かすということを いろいろでやっていく会社（というか入れ物だ）を作る。 分散技術にウェイトを置いて起きつつ、ソリューションにしていくための入れ物ですね。 「ノーチラス・テクノロジーズ」 NAUTILUS Hadoopや分散技術をエンタープライズに活かしていくことを 目的にした日本では最初の会社になると思う。 1.まず手始めにHadoopを中心の道具立てにしていく 幸いAsakusaもチームの頑張りで晴れてOSSになったし、 実際に動いている 開発効率の高さは自分でもびっくりしているぐらいだ。 分散技
Hadoop Conference Japanに参加しました #hcj2011 - nokunoの日記
というわけでHadoop Conference Japanに参加しました。Hadoop Conference Japan 2011会場は豊洲のNTTデータ本社で、初めて来たのですが駅前の広場が楽天のある品川シーサイドと全く同じでびっくりしました。 『Hadoop on クラウド / Amazon Elastic MapReduceの真価』（Amazon Web Services, Jeff Barr） Introduction AWS: 2002-Twitter: @jeffbarr What is Big Data Doesn't refer just to volume Big Data Tool EMR Overview Hadoop Hosting Framework Launch and monitor job flows: Web, CUI, REST Upload data
Asakusa Enterprise Batch Processing Framework for Hadoop
Asakusa Enterprise Batch Processing Framework for Hadoop Hadoop Japan Conference 2011-2-22Read less
HadoopIsNot - HADOOP2 - Apache Software Foundation
What Hadoop is Not We see a lot of emails where people hear about Hadoop, and think it will be the silver bullet to solve all their application/datacentre problems. It is not. It solves some specific problems for some companies and organisations, but only after they have understood the technology and where it is appropriate. If you start using Hadoop in the belief it is a drop-in replacement for y
楽天がHadoopを使う理由
2010/12/15に行われた「日経コンピュータセミナー Hadoopが変える企業システムの実像」での講演資料です。
HDFSはファイルサーバーに使うものじゃないよ
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
Hadoopの置き場所
土曜日に書いたアーキテクチャは、Hadoop座談会で得られたインスピレーションによるものでしたが、肝心のHadoopの置き場所を考えるのを忘れていました。 そこで、考えてみたのが以下の図です。 アーキテクチャ的には、MapReduceやその実装としてのHadoopだけでなく、より汎用的な概念の導入が有効ではないかということでBackground Computingとしています。 さらに細かく考えていくと、Background ComputingもBatchとRealtime(Streaming)に分けることができそうですが、これはいずれ。 ボクは、クラウドアプリケーションとは、非同期に発生するイベントを連続して受け取りながら、イベント受信をうけて内部状態を刻一刻と遷移させていくオブジェクトと考えています。右の図はこのあたりをJJUG CCC 2010 Fallでお話した時に使ったものです。
Cassandra、Hadoopを用い、ソーシャル機能も備えた業務アプリケーション基盤、NTTデータイントラマートが開発を発表
Cassandra、Hadoopを用い、ソーシャル機能も備えた業務アプリケーション基盤、NTTデータイントラマートが開発を発表 業務アプリケーションによるソーシャル機能の取り込み、NoSQLによるスケーラブルなデータベース、Hadoopによる分散データ処理。これらはエンタープライズITの新たなテクノロジートレンドですが、これらをすべて取り入れた業務アプリケーション用のプラットフォームを、NTTデータイントラマートが開発中であることを明らかにしました。 NTTデータイントラマートが先週10月22日に行った同社のイベント「intra-mart Enterprise Web Solution 2010」で、同社が開発中の業務アプリケーションフレームワーク「intra-mart WebPlatform Ver8.0」のデモンストレーションを公開。そこには、Twitterライクなタイムライン、NoS
En Yüksek Kur Paykasa Bozdurma
IBM TechXchange Community Together, we can connect via forums, blogs, files and face-to-face networking. Find your community Where is my content? If you’re looking for developerWorks content or a Support forum and ended up here, don't panic! You are in the right place. The content you're looking for. This page will help you find the content you are looking for, get answers to your questions, and f
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
グーグルがHadoopにMapReduce特許の利用を許可
大規模分散処理の技術として知られるMapReduceは、グーグルが検索エンジンの基盤技術として開発したもの。そして同社はMapReduceの特許を1月に取得していました。 グーグルがMapReduce特許を取得。Hadoopへの影響は？ － Publickey グーグルが特許を保有していることでMapReduceのオープンソース実装であるHadoopに対する影響が心配されていましたが、Apache Foundationの弁護士がグーグルの弁護団から特許の利用許可を得たことを明らかにしました。 予想通りの展開に 4月23日付けでYahoo!のHadoopチームアーキテクトOwen O’Malley氏がメーリングリストに投稿した「Re: License for Google's patent」というメッセージ。この中でApache Foundationの弁護士が、グーグルからの特許利用許可を伝
blog.katsuma.tv
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Hadoop徹底入門: 太田一樹 (著), 下垣徹 (著), 山下真一 (著), 猿田浩輔 (著), 藤井達朗 (著), 濱野賢一朗 (監修): 本
Hadoopカウントダウン（Yet Another Advent Calendar HAHAHA)
Hadoop Hack Night Vol. 2
Pentaho Commercial Open Source Business Intelligence
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会 (2010/05/14 Fri)
Mahout 0.3: オープンソースの機械学習プロジェクト
