第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
Impala
Apache Impala is the open source, native analytic database for open data and table formats. Follow us on Twitter at @ApacheImpala! Do BI-style Queries Impala provides low latency and high concurrency for BI/analytic queries on the Hadoop ecosystem, including Iceberg, open data formats, and most cloud storage options. Impala also scales linearly, even in multitenant environments. Unify Your Infrast
Cloudera Enterprise RTQ
Why Cloudera Hadoop & Big Data Doug Cutting, Cloudera's Chief Architect, wrote Apache Hadoop in 2006. Learn about Hadoop and its impact on Big Data. Our Customers See a selection of Cloudera customers and how they use Cloudera to ask bigger questions of all their data. FAQs We answer some of your most popular questions about Cloudera and our technology. Blog Explore thought, technical, and communi
医療分野のビッグデータ事例 「Hadoop」を採用した徳島大学病院
前回の「病院情報システムのクラウド化メリット 福井大学病院の場合」に続き、2011年12月9日に開催されたCIO研究会第9回セミナーの講演内容を紹介する。今回は、徳島大学病院を中心とする徳島県の事例を取り上げる。徳島大学病院は、地域の病院や診療所、保健センターが保有する患者情報を蓄積し、糖尿病などの慢性疾病管理の分析に利用することで医療の質の向上を目指している。 医療分野もビッグデータ時代が到来 徳島大学の森川氏 「医療の世界もビッグデータ時代を迎えている。医療機関が保有する情報は、二次利用の価値から簡単に捨てることはできない。永続的に保管して有効活用する仕組みが求められている」 徳島大学病院 病院情報センター センター部長、森川富昭氏は、講演でこう説明した。同氏は、内閣官房 高度情報通信ネットワーク社会推進戦略本部の「医療分野の取り組みに関するタスクフォース」構成員でもある。 森川氏は病
Hadoop MapReduce デザインパターンの3章まで読んでみた。 - wyukawa's diary
Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る いわゆる子象本。小象でも小僧でも無いよw 監修者のブログの Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道 で詳しく紹介されています。 原著はこちら Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) また原文のPDFをこちらから入手できます。 Jimmy Lin » Data
Hadoop MapReduce デザインパターン1章〜3章 - n3104のブログ
Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る ずっと原書であるData-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies)を読もうとは思っていて、Pre-Production Manuscript(PDF)とかもチラ見していたのですが、Hadoop Conference Japan 2011 Fallで売っていたのでAmazonの予約をキャンセルしてその場で買いまし
agilecatcloud.com - このウェブサイトは販売用です！ - agilecatcloud リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
How Facebook moved 30 petabytes of Hadoop data – Old GigaOm
For anyone who didn’t know, Facebook is a huge Hadoop user, and it does some very cool things to stretch the open source big-data platform to meet Facebook’s unique needs. Today, it shared the latest of those innovations — moving its whopping 30-petabyte cluster from one data center to another. Facebook’s Paul Yang detailed the process on the Facebook Engineering page. The move was necessary becau
Exclusive: Yahoo launching Hadoop spinoff this week – Old GigaOm
Updated: Yahoo (s yhoo) will be spinning off a separate company focused on the development and commercialization of Apache Hadoop, called Hortonworks. The official announcement likely will come tomorrow or Wednesday to coincide with Yahoo’s annual Hadoop Summit, but rumors have been circulating for months and I confirmed the news today with a source familiar with the project. As the originator of
第2回Asakusaソースコードリーディングに参加してきました - AOEの日記
AsakusaSCR第弐回に参加してきましたので、そのメモをまとめました。ほとんど自分向けの内容ですが折角なので表に置いておくにします。立て続けに勉強会参加レポートのエントリになっちゃいました。 今回はAsakusaにおいて外部とのデータのやり取りを引き受けているThunderGateのお話でした。 講師はThunderGateのアーキテクチャを設計したウルシステムズの埋金さんです。UMLaut/J-XMLの開発も担当されたそうで、昔はテレメータの開発をされてたとか。あと懇親会で聞いたのですが、かつてはWebLogicの鬼だったそうな。 なぜThunderGateを作ったのか？ Hadoopはデータ配るところが弱いので、そこを補うのがThunderGate データをどこに置く？ HDFS 信頼性？SPOFあるね バックアップリカバリのノウハウがない (復旧できる技術者いる？少なくともデータ
第1回 Hadoopで広がるビジネス領域 | gihyo.jp
はじめに 近年、「Hadoop」というキーワードをよく目にします。もしかしたらこの記事を読んでいるあなたも、Hadoopというキーワードを目にしたり聞いたりしたことがあり、興味を持ってこの記事をご覧になっているのかもしれません。Hadoopとは何でしょうか？何ができるのでしょうか？今回から全5回にかけて、Hadoopの活用事例や活用のヒント、そしてこれからHadoopを活用しようと考えているエンジニアが知っておくべきことや、情報収集の仕方を解説します。 Hadoopって何？ Hadoopとは何でしょうか。簡単に言うと、テラバイト、ペタバイトといった巨大なデータを処理するためのオープンソースの分散処理基盤で、Googleが検索エンジンのバックエンドに利用している技術のクローンです。Googleは2003年に大規模分散ファイルシステム「Google File System（GFS）」につ
Hadoopエンタープライズソリューションセミナー - seikoudoku2000のブログ
Hadoopエンタープライズソリューションセミナー ＠秋葉原コンベンションホール by NTTデータ に行ったので、そのメモ。（一部のセッションは省略） ◎企業内データへの新しいアプローチ Cloudera CEO Mike Olson Big Data Big Dataは大きな問題。 トランザクションや売上履歴だけでなく、webなどから色んなデータが集まってくる。 新しい方法でデータを保存し、解析する必要がある。 機械学習やデータからパターンの抽出を行いたい。 データは指数的に膨大を続けている。 これにより、会社は新しいデータとの向き合い方を考える必要がある。 Hadoop導入企業ではノード数が平均四倍になっている。 Hadoop HDFSは統合して、費用をかけずにデータを格納することができる。昔はセントラルの高級サーバにしかできなかった。 データを格納しているサーバで解析を行えることが
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
961万人の食卓を支えるデータ解析
This document discusses Hadoop and its ecosystem. It covers Hadoop distributions like Cloudera and Amazon's Elastic MapReduce service. It also discusses running SQL-like queries using MapReduce and moving data between MySQL and Hadoop. Key algorithms like map and reduce functions are explained through examples. Different Hadoop deployment options on EC2 like standalone, Cloudera, and EMR are also
インフラエンジニアのためのHadoop情報 目次：So-net Developer Blog：So-netブログ
2010-12-27 11:21 nice!(0) コメント(20) トラックバック(0) 共通テーマ：パソコン・インターネット はじめまして どうぞよろしくお願いします 五便宝: http://www.hellokanpo.com/view/wodibo-capsules.html Cialis:http://www.hellokanpo.com/view/cialis.html 精力剤: http://www.hellokanpo.com/JingLiJi 女性用媚薬: http://www.hellokanpo.com/meiyao 媚薬: http://www.hellokanpo.com/meiyao 紅蜘蛛: http://www.hellokanpo.com/view/hongzhizhu1.html 早漏防止: http://www.hellokanpo.com/Jing
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
衛星データ処理勉強会 分散処理システムHadoop
Apache Hadoop India Summit 2011 talk "Making Hadoop Enterprise Ready with Amazon Elastic Map/Reduce" by Simone Brunozzi