Amazon.co.jp: Hadoop徹底入門 第2版: 太田一樹 (著), 下垣徹 (著), 山下真一 (著), 猿田浩輔 (著), 藤井達朗 (著), 岩崎正剛 (著), 濱野賢一朗 (読み手): Digital Ebook Purchas
Hadoop Conference Japan 2011でLTしてきました
先日開かれた Hadoop Confenence Japan 2011 でLTしてきました。 発表スライドは以下です。 分散ファイルシステムGfarm上でのHadoop MapReduce View more presentations from shun0102. ポイントは、HDFSの大体となる汎用的なファイルシステムを探す場合候補としては、 Gfarm, GlusterFS, Ceph, Lustre, PVFS2などがありますよ。試した所では、 GfarmはHDFSと同等の性能でマウントできて良い感じ GlusterFSは性能ではHDFSに劣るがマスターが要らない Cephは負荷をかけると固まるなどしてまだ実運用には厳しい状態 こんな感じです。 実際に性能評価を出してるのは一部の人にウケがいいみたいです。 こういう実際の性能評価をやって公開できる環境にある人も少ないと思うの
認証データベースへのHBase/Hadoopの適用
1. はじめに HP IceWall SSO は、日本ヒューレット・パッカード株式会社が日本で開発した Webシングルサインオン製品です。1997年の販売開始より、合計4000万以上のユーザーライセンスが販売されており、日本国内の市場占有率も1位となっています＊1。大企業のミッションクリティカルなシステムの認証基盤としても使用されている非常に実績の高い製品です。 本連載では、HP IceWall SSOの最新機能を軸とし、クラウド環境における認証システムへの新技術の適用、クラウドとの認証連携、そしてクラウドの活用事例を3回にわたり紹介していきたいと思います。 第1回はHP IceWall SSOにおける認証データベースへのHBase／Hadoopの適用に関して紹介します。 HBaseはApache Software Foundation（以下ASF）によってトップレベルプロジェクトの位置づ
マイクロソフトのHadoop対抗「Dryad」がベータテスト開始
マイクロソフトは、Windows HPC Serverのクラスタ上で動作する「Dryad」のベータ公開を開始したことを発表しました。 Dryad Beta Program Starting - The Windows HPC Team Blog - Site Home - TechNet Blogs Dryadは、オープンソースとして公開されている大規模並列バッチ処理ソフトウェアのHadoopに対抗するものといわれています。Hadoopは、いままで高価格なハードウェアとソフトウェアが必要とされていたビジネスインテリジェンスなどの大量データ分析を、安価なハードウェアのクラスタとオープンソースという破壊的な低価格と高い処理能力をもたらしたことで注目されています。 DryadとHadoopの違いは？ 発表によると、今回ベータ公開されたのは、Windows HPC Server 2008 R2 S
リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡大
リクルートや楽天が、オープンソースの分散バッチ処理ソフト「Hadoop」の利用を拡大している。リクルートはWebサーバーのログ解析用DWH（データウエアハウス）としてHadoopを採用。楽天はグループ内の全ログデータを対象とした統合ログ解析基盤の構築を、Hadoopベースで進めている。 NTTデータやウルシステムズなどのシステムインテグレータも、Hadoopを使ったシステム構築に取り組み始めており、1000台規模のHadoopクラスターもすでに稼働している。これら事例は、2010年12月15日に東京・秋葉原で開催された「日経コンピュータセミナー・Hadoopが変える企業情報システムの実像」で発表された。 DWHの構築にHadoopとHiveを採用－－リクルート リクルートは、同社の「じゃらんnet」や「カーセンサー.net」「suumo」といった様々なWebサイトのログデータを一元的に解析
アイネット、Hadoopを採用した企業向けクラウドストレージサービスを提供開始
アイネット、Hadoopを採用した企業向けクラウドストレージサービスを提供開始：パブリッククラウドサービス Hadoopで構築したストレージサービス「Cloudstor（VAiOS Private Cloud HDFS Storage Service）」。プライベートクラウドを志向する企業のさまざまな用途に対応。 アイネットは12月14日、同社データセンターで展開しているVAiOSプライベートクラウドサービス上に追加する新クラウドサービスとして、Hadoop分散ファイルシステムで構築したストレージサービス「Cloudstor（VAiOS Private Cloud HDFS Storage Service）」を開発し、法人企業向けに2011年2月1日から提供開始すると発表した。 「Cloudstor」は、VAiOSプライベートクラウドサービスの共通アプリケーションとして、米国のパブリックク
Cassandra、Hadoopを用い、ソーシャル機能も備えた業務アプリケーション基盤、NTTデータイントラマートが開発を発表
Cassandra、Hadoopを用い、ソーシャル機能も備えた業務アプリケーション基盤、NTTデータイントラマートが開発を発表 業務アプリケーションによるソーシャル機能の取り込み、NoSQLによるスケーラブルなデータベース、Hadoopによる分散データ処理。これらはエンタープライズITの新たなテクノロジートレンドですが、これらをすべて取り入れた業務アプリケーション用のプラットフォームを、NTTデータイントラマートが開発中であることを明らかにしました。 NTTデータイントラマートが先週10月22日に行った同社のイベント「intra-mart Enterprise Web Solution 2010」で、同社が開発中の業務アプリケーションフレームワーク「intra-mart WebPlatform Ver8.0」のデモンストレーションを公開。そこには、Twitterライクなタイムライン、NoS
Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010
Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010 先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。 イベントを主催するClouderaは、Hadoopを開発したDoug Cutting氏らが所属しており、Hadoopの商用利用におけるリーダー的な存在です。そしてこのイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。 Clouderaとの提携を受け、NTTデータ代表取締役常務執行役員 ソリューション＆テクノロジーカンパニー長 CTO 山田伸一氏がHadoop Worldで講演。そ
Hadoopと3つのRDBMSの比較評価。 Hadoop World: NYC 2010
先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。主催はHadoopのディストリビューションベンダであるCloudera。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。 このイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。NTTデータによる講演のなかでリクルートの米谷修氏が行ったHadoopに関する比較評価を紹介します。 この記事はHadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010」の続きです。 3種類のデータベースとHadoopを比較 リクルート MIT United システム基盤室エグゼクティブマネージャー 米谷修氏。
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
HadoopとMongoDBを活用したソーシャルアプリのログ解析
The Ring programming language version 1.7 book - Part 47 of 196Mahmoud Samir Fayed
その分析、Hadoopなら速く安くできます
ビジネスデータを分析するビジネスインテリジェンス（BI）分野の新たなプラットフォームとして注目されているHadoop。Hadoopでは、どのようなデータ分析が可能なのでしょうか？ 現在、Hadoopビジネスの牽引役であるClouderaのJeff Hammerbracher氏が、Hadoopでデータ分析が可能なビジネス上の課題を示した「10 Common Hadoop-able problems」（Hadoop化可能な10の一般的課題）と題したプレゼンテーションを公開しています。 Hadoopにとって得意な処理とは、複雑で複数のデータソースからなる大量のデータの分析であり、それをバッチ処理の並列実行によって実現することです。 従来は、データがあまりに複雑だったり膨大だっために、計算時間やコストなどの理由で実現が難しかった処理でも、Hadoopによる低コスト化、計算時間の短縮、高い柔軟性など
独自の同期型採用！分散ストレージ「CloudStation dSS」
5月27日、ぷらっとホームは容量と性能を同時に拡張できるスケールアウト型ストレージ「CloudStation dSS」の販売を開始した。3Uラックマウント筐体に最大28TB（RAID6時）の容量を搭載可能なノードをクラスタ化することで、最大1PB（36ノード）まで容量を拡張できる。また、複数のノードに分散して読み書きするため、ハードディスクやノード自体の故障についても耐障害性を持つ。各ノード間の接続は1GbpsのEthernetを用い、10GbEのスイッチとインターフェイスをオプションで提供するという。 ファイル管理は、ファイル名とパス名ではなく、任意の文字列をキーとして利用する「キーバリュー方式」を採用。C言語のAPI、FTPライクなコマンド、そしてクライアントから巨大なHDDとして利用できるfuseクライアントによる3つのアクセス方法が選択できる。 最大の特徴は、dSS（distrib
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
- HACKED -
Security in Hadoop by Jason Schlesinger Data is growing at an increasing rate, and processing and storing that data is a real issue that present and future generations will have to deal with. Hadoop, Apache's open source implementation of Google's MapReduce, can scale both storage space and processing power almost indefinitely across a large dataset. This is achieved by how Hadoop distributes data
へ〜たのめも:Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 - livedoor Blog（ブログ）
2009年04月19日 Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)と Parallel DBMS (Vertica と DBMS-X) の性能を比較したところ、おおむね DB の方が性能がよく、ケースによっては 6.5倍も性能差があるという実験結果が、SIGMOD09 で発表されたらしい。原論文はここから PDF でダウンロードできる。 以下は DBMS2 というブログに書かれた、この論文を読んだ人の感想の翻訳。 Stonebraker, DeWitt, et al. MapReduce と DBMS の比較 5人の共著者(主筆者は Andy Pavlo っぽい)とともに、Map-Reduce 嫌いで知られ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【インタビュー】ヤフーが日々蓄積するビッグデータの塊、3500台のHadoopで処理し地道に活用 
Hadoopを用いた大規模ログ解析
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 記事一覧 | gihyo.jp
IBM Developer
