Amazon Redshift ベンチマーク Hadoop + Hiveと比較
2. Amazon Redshift では、 1.2TB のデータへのクエ リの処理に対し、処理時間が 155 秒 Hadoop + Hive では、 1.2TB のデータへのクエリの 処理に対し、処理時間が 1491 秒 Amazon Redshift ： 10 倍の処理速度 Amazon Redshift の運用コストは 30 分に一回の頻 度でクエリを処理する場合、一日あたり $20 Hadoop + Hive の運用コストは 30 分に一回の頻度 でクエリを処理する場合、一日あたり $210 Amazon Redshift ： 10 倍のコストパフォーマ ンス 3. Amazon Redshift は、クラウドビッグデータの新 しいデータウェアハウス。 Redshift の登場までは 、テラバイトを超える処理には、 Hadoop を用い る必要があった。 今回、 Redshift
Hadoopカンファレンス2013
1. リクルート式Hadoopの使い方 2ndEdition 株式会社リクルートテクノロジーズ ITソリューション部 ビッグデータグループ 石川 信行 2. 分社化について 主な事業会社 （株）リクルートキャリア （株）リクルートジョブズ （株）リクルートスタッフィング （株）リクルート （株）リクルート住まいカンパニー ホールディングス （株）リクルートライフスタイル （株）リクルートマーケティングパートナーズ （株）スタッフサービス・ホールディングス 機能会社 （株）リクルートアドミニストレーション （株）リクルートコミュニケーションズ （株）リクルートテクノロジーズ 2 3. リクルートグループのご紹介 ～リクルートについて ライフイベント領域 ライフスタイル領域 旅行 車購入 住宅購入 お稽古 ファッション 転職 出産/育児 結婚 時事 飲食 就職 進学 「選択・意思決定・行動」を
Cloudera impalaの性能評価（Hiveとの比較）
Hadoop MapReduceの処理速度より1桁速いと聞いて、早速自前のクラスタ環境で評価しました。
Scalable Machine Learning with Hadoop
This document discusses scalable machine learning using Apache Hadoop and Apache Mahout. It describes what scalable machine learning means in the context of large datasets, provides examples of common machine learning use cases like search and recommendations, and outlines approaches for scaling machine learning algorithms using Hadoop. It also describes the capabilities of the Apache Mahout machi
Hive Tools in NHN Japan #hadoopreading
1. Hive Tools in NHN Japan Hadoop Source Code Reading Vol.9 2012/05/30 @tagomoris (TAGOMORI Satoshi) 12年5月30日水曜日 3. Hive in NHN Japan Reporting of access log (not analysis) Pageviews and/or Unique Users? Accesses under specified condition? Hey, what numbers of accesses for our new features? new bot accesses? any troubles? 12年5月30日水曜日 4. SELECT yyyymmdd, count(is_pc(pa)) as pc, count(is_smartphone(p
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
1. Zabbixによる Hadoop/HBaseの監視 Hadoop/HBaseの運用におけるZabbixの活用事例 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング統括本部 データセンターソリューション第一本部 コアテクノロジー部 石田精一郎 1 © Copyright 2012 Hewlett-Packard Development Company, L.P. 2011 2. 本日のお題 • お話ししたい内容 • Hadoop/HBase概要 • Hadoop/HBaseの監視と運用 • Hadoop監視プラグインの中身 • Hadoop監視を効率化するZabbixの機能 • まとめ • Appendix – インフラエンジニアなら監視しておきたいHadoopメトリクス – HP サービス紹介 2 © Copyright 2012 Hewlett-Packard D
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
第1回EMR勉強会に参加しました | DevelopersIO
こんにちは。くろの（福田）です。 先日、第1回EMR勉強会に参加してきました。 ■開催概要 日時：2011年12月15日（金） 場所：タイムズビル24 主催：ヴェルク株式会社、クリエーションライン株式会社 Webサイト：http://atnd.org/events/23056 ハッシュタグ：#emrstudy_jp ■クラウド型Hadoop Service - Amazon Elastic MapReduce クリエーションライン株式会社 李さん クラウド型Hadoopサービス オンデマンド －ジョブフロータイプ、データ処理タイプ、クラスタ規模を指定してHadoop作成 プロビジョン Hadoopクラスタ構成/ソフトウェアインストールが自動的に行われる Amazon S3、RDS、SimpleDB エフェメラル －結果がS3に保存され、ジョブフローは削除される ephemeral：はかない
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
1. 【VLDB2011勉強会】 Session 18: MapReduce and Hadoop 担当： 塩川浩昭（NTT） 1 2. 紹介する4本の論文 1. Column-Oriented Storage Techniques for MapReduce Avrilia Floratou, Jignesh M. Patel(University of Wisconsin Madison), Eugene J. Shekita, Sandeep Tata (IBM) 2. Automatic Optimization for MapReduce Program Eaman Jahani, Michael J. Cafarella (University of Michigan), Christopher Re (University of Wisconsin Madison) 3. C
ソーシャルゲームログ解析基盤のHadoop活用事例
6. 1 1,000 / AP APAP AP DB d fluentd fluentd mongos mongod(PRIMARY) DB config mongod(SECONDARY) DB fluentd mongos mongod(SECONDARY) config ReplicaSets & Sharding NFS 6 8. 8.5GB 1.4GB / ID Nov 1 23:59:59 hogehoge-ap1 hogehoge ADD_MONEY 12345 [BeforeMoney] 67979 [AfterMoney] 68024 [Money] 45 Nov 1 23:59:59 hogehoge-ap2 hogehoge CONSUME_POWER 12345 [BeforePower] 25 [AfterPower] 20 [ConsumePower] 5 8 10. M
Hadoopreading05 data intensive3
Hadoopreading05 data intensive3 - Presentation Transcript MapReduceアルゴリズムデザイン Data-Intensive Text Processing with MapReduce 第３章 #hadoopreading @nokuno 自己紹介 2 Twitter: @nokuno はてな：id:nokuno 自然言語処理勉強会を主催（第2回は9/25開催） PRML/R/TokyoWebmining/Python/Hadoopなど 2002～2006：コミケで同人ゲーム売ってた 2007～2008：未踏でSocial IMEの開発 2009～現在：Web業界勤務（←今ここ） 本発表の元ネタ 3 Data-Intensive Text Processing with MapReduce 大規模テキスト
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Webinar: The Future of Hadoop
With a community of over 500 contributors, Apache Hadoop and related projects are evolving at an ever increasing rate. Join the co-creator of Apache Hadoop, Doug Cutting, and Cloudera’s Chief Scientist, Jeff Hammerbacher, for a discussion of the most exciting new features being developed by the Apache Hadoop community.Read less
Lxc で始めるケチケチ仮想化生活？！
1. 2011/07/10 Version 1.2 オープンクラウド・キャンパス LXCで始めるケチケチ仮想化生活？！ ～Hadoop on LXCにチャレンジ！ 中井悦司 Twitter @enakai00 2. LXCで始めるケチケチ仮想化生活？！ 自己紹介 中井悦司（なかいえつじ） – Twitter @enakai00 日々の仕事 – Senior Solution Architect and Cloud Evangelist at Red Hat K.K. 企業システムでオープンソースの活用を希望される お客様を全力でご支援させていただきます。 好評発売中 昔とった杵柄 – 素粒子論の研究（超弦理論とか） – 予備校講師（物理担当） – インフラエンジニア（Unix/Linux専門） 2 Open Cloud Campus
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Impala #pyfes 2012.11.24
日々進化するHadoopの 「いま」
BigData Analysis with mongo-hadoop
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Hadoop scr第7回 hw2011フィードバック
wyukawa’s blog