http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。Read less
Hue勉強会 20131008
http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。Read less
あのジェリー・ヤンも出資! 話題のベンチャーTreasure Dataがめざすのは"ビッグデータをシンプルに"─Hadoop Conference Japan 2013 Winterレポート（3） | gihyo.jp
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
Hadoopに関する雑感 (Hadoop アドベントカレンダー2012 XX日目) - 科学と非科学の迷宮
最近はなるべく技術的な話しか書かないようにしていたのですが、たまには個人的な思考を書いてみることにします。 クリスマスだし、ブログ初めてから8周年でもあるわけですし。 Hadoop は、大量のデータをリーズナブルに計算処理できるようにしたいという課題から生まれました。 つまりキーとなる課題として、 データが大量である リーズナブルである 計算処理ができる というものがあります。 後ろ2つは話が早い。低コストで計算処理を行いたいというのはほとんどのIT関係者が抱くニーズでしょう。 しかし、「データが大量である」という課題が厄介です。 まず第一に、「そんな大量のデータがどこにあるのか？」という問題があります。 たとえば1日1TBのデータを生成したとしても年間365TBです。ようするに 0.3PB。ビッグデータの代名詞として言われる「ペタバイトオーダー」には程遠いです。 1日1TBって、要するに
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel
導入事例からIT製品・サービスを探す｜キーマンズネット
基幹系システム ERP 会計システム 電子帳票システム ワークフロー 勤怠管理システム もっと見る 情報共有システム・コミュニケーションツール グループウェア Web会議 テレビ会議/ビデオ会議 ファイル共有 文書管理 もっと見る 情報システム SFA CRM コールセンター/CTI BPM PLM もっと見る メール 電子メール メールセキュリティ メールアーカイブ その他メール関連 もっと見る エンドポイントセキュリティ アンチウイルス 暗号化 認証 ID管理 メールセキュリティ もっと見る ネットワークセキュリティ ファイアウォール WAF IPS UTM セキュリティ診断 もっと見る 運用管理 統合運用管理 IT資産管理 サーバー管理 ネットワーク管理 統合ログ管理 もっと見る バックアップ バックアップツール バックアップサービス テープバックアップ その他バックアップ関連 もっ
Hadoop and Vertica: The Data Analytics Platform at Twitter
The document discusses Twitter's data analytics platform, including Hadoop and Vertica. It outlines Twitter's data flow, which ingests 400 million tweets daily into HDFS, then uses various tools like Crane, Oink, and Rasvelg to run jobs on the main Hadoop cluster before loading analytics into Vertica and MySQL for web tools and analysts. It also describes Twitter's heterogeneous technology stack a
Hadoopユーザーを直接支援する、ただし活用方法の情報提供は“道案内”までだ
Hadoopユーザーを直接支援する、ただし活用方法の情報提供は“道案内”までだ Cloudera 代表取締役社長 ジュセッペ 小林氏 ビッグデータブームに火を付けたオープンソースの分散バッチ処理ソフト、Apache Hadoop。そのHadoopのディストリビューション（関連コンポーネントや管理ツール、導入ユーティリティーなどを同梱したもの）である「Cloudera's Distribution Including Apache Hadoop（CDH）」を提供する米クラウデラが2012年4月26日、日本法人「Cloudera株式会社」を設立した（関連記事）。日本法人の初代社長となったジュセッペ 小林氏に、抱負や今後の戦略を聞いた。 私は今回の就任までに14社の社長を務め、30余年にわたってほぼ2週間おきに日本と米国を往復する生活を続けてきた。「日本法人立ち上げのプロ」を自認している。これま
Hadoopは統計の基礎を無視しているのか？ - 急がば回れ、選ぶなら近道
http://ascii.jp/elem/000/000/687/687170/ こういう塩梅になった。これでも一応、最初に上がってきたインタビュー記事を訂正して、この状態という感じです。最初のほうはもっと派手だった。まー、さすがに読み手で不快に感じる人もいるだろうし、とはいえ、話したことをつないでいる部分は確かにあるわけで、はてどうしたものかな・・・と思っているうちにリリースになったというのが実態ですね。 えっと、まず読んで不快に思った方は確実にいらっしゃると思うので、その方たちにはお詫び申し上げます。すんませんでした。 その上で真意を書いておくと・・・ まず、Hadoopは統計の基礎を無視しているのか？という問題ですが、基本的にHadoopのBIで飯を食っている人は、いわゆる「データ・サイエンティスト」という職種の人たちにあたる方たちで、当然、統計のプロだ。当たり前の話だが、大抵のHa
ノーチラス・テクノロジーズが株式会社アンデルセンサービスの原価計算の基幹バッチ処理をAsakusa Framework™/Hadoopにて1/12の時間に短縮アマゾン ウェブ サ―ビス®のAmazon® VPCを利用し、インフラ構築・運用コストを大幅削減 | NAUTILUS
ホーム>お知らせ>ノーチラス・テクノロジーズが株式会社アンデルセンサービスの原価計算の基幹バッチ処理をAsakusa Framework™/Hadoopにて1/12の時間に短縮 アマゾン ウェブ サ―ビス®のAmazon® VPCを利用し、インフラ構築・運用コストを大幅削減 ノーチラス・テクノロジーズが株式会社アンデルセンサービスの原価計算の基幹バッチ処理をAsakusa Framework™/Hadoopにて1/12の時間に短縮 アマゾン ウェブ サ―ビス®のAmazon® VPCを利用し、インフラ構築・運用コストを大幅削減 2012年05月07日 PDF版のダウンロードはこちら 株式会社ノーチラス・テクノロジーズ(以下、ノーチラス)は、当社が開発したAsakusa Framework™ (*1) (以下、「Asakusa」)を利用して株式会社アンデルセンサービス（以下、アンデルセンサー
Hadoop Operations
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. If you’ve been asked to maintain large and complex Hadoop clusters, this book is a must. Demand for operations-specific material has skyrocketed now that Hadoop is becoming the de fact
分析技術編：Hadoopへの期待と課題
＞＞前回 この連載では、ビッグデータの収集から格納までのシステムデザインについて概観してきた。最終回は締めくくりとして、分析技術の課題と今後の方向性を考えてみる。 ビッグデータにおける分析技術の課題 分析技術の課題を考えるために、前回取り上げたECサイトの消費者行動ログデータの分析を想定してみる。図1は、割引率と売上額の相関だけでなく、購入時に表示されていた口コミ情報がどの程度の影響を与えるかを分析する例を示したものだ。この例では、口コミ評価が高いと、割引率に関係なく売上額が高いことを示している（右グラフの円の大きさは売上額の大きさを示す）。 このような分析を行う場合、１回のデータベース検索だけでは結果を出せないため、次のような複数の処理ステップが必要となる。 （1）１画面に含まれる複数の口コミ評価から、価格に関する評価を除外し、総合評価指数を算出する。 （2）会員向け割引を加算するなど割
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
新卒採用サイト2023年卒｜リクルート
20分で解説まるわかり！リクルート 忙しい学生のみなさんに、 サクっとすきま時間に見てほしい リクルートの会社説明動画です。 チャプターリスト 00:12 オープニング 02:17 リクルートについて 04:33 リクルートの事業について 08:12 配属職種について 10:37 入社後キャリアパスについて 11:56 成長を促す制度と風土 15:58 新規事業への挑戦 18:20 仕事とプライベートの両立
ところてん - アットウィキ
「日記/2012年02月09日/大手通信会社の研究所を辞めて、ソーシャルゲーム屋さんに行きます。」は管理者からの閲覧のみ許可しています。 ログイン ログイン
Hadoopは汎用機の夢を見るか？ - 急がば回れ、選ぶなら近道
オープン系の歴史は、基本的に汎用機との戦いでした。個人的にも自分の戦いも、わりとまじめに汎用機との戦いでした。Linux? おもちゃですね。Java? 飲めるの？Object指向? 品質高いの? ・・・まぁこんな感じでしたね。確かにLinuxはもはや標準になりました。Javaでの開発は普通になりました。Object指向以外の開発はまぁ普通にないですね。・・・しかし、残念ながら基幹バッチは未だに汎用機です。汎用機は未だに現役であり、基幹処理の根っこは、いまだ汎用機で動いています。信頼性は突出しているし、パフォーマンスもバッチ処理に関しては依然として最強だと言えるでしょう。新人COBOLな人のバッチが、ハイパーなOracle使いのSQLバッチを軽く凌駕する事は、まだ普通にあります。・・・なぜか？ 多重度が違いすぎますね。 汎用機はハードウェアからOSレベルまですべて、多重度が上がる事を前提に処
［後編］次世代に向けベンダー連携進む
事例以外に「Hadoop World NYC 2011」で注目を集めたキーワードは、「次世代Hadoop」「エコシステム」「HBase」「既存DWHとの連携」などである。 スケーラビリティーの強化続く 次世代Hadoopはアーキテクチャーを改良し、より高いスケーラビリティー、信頼性、機能を実現する見込みである。例えば、名前空間とブロックストレージの管理を分離してスケーラビリティーを高める「HDFSフェデレーション」、マスターサーバーの可用性を向上させる「NameNode HA」、MPI（メッセージ・パッシング・インタフェース）などの分散処理インタフェースを利用できて1万台までスケールアウトが可能な「MapReduce 2.0」などを備える。これらの機能は、バージョン0.23に搭載する。いずれエンタープライズ領域で採用できるレベルに到達するだろう。 「Hadoop開発は分裂しない」 Hado
［前編］ビジネス貢献に歩み出したHadoop
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を利用する企業が相次いでいる。2011年11月に米国で開催されたカンファレンス「Hadoop World NYC」では、米JPモルガン・チェースなどの最新事例が登場した。前編では本会議で明らかにされた活用動向を紹介し、後編では主にベンダー側の動向を報告する。 2011年11月8日から2日間にわたり、「Hadoop World NYC 2011」が米国ニューヨークで開催された。3回めの開催となる今回は、27カ国から1400人を超えるITマネジャーや開発者などが集まった（写真1）。 Hadoop Worldは東海岸で開催されるだけあってビジネス色が強く、最新事例や提携の発表が多い（表1）。主催は、Hadoop専業であり、Hadoopの生みの親ダグ・カッティング氏が所属する米クラウデラ。今回のスポンサーには、Hadoop関
来年のHadoop - 急がば回れ、選ぶなら近道
Hadoopアドベント・カレンダーの多分最終日のはず。 せっかくなんで、来年の予想でもしてみようかと。 日本の話です。世界のことはよくわかりません。本当のことは、日本には伝わらない（表向きの話はともかく、現状ではVCあたりの外野の方が発言力があると思うし、向こうでも、その辺の正確な情報は伝播してる気がしません）と思うので。とはいえ、日本のHadoopマーケットは、それなりわかっている（というか、わかっていないとまずい）感じみたいなので・・・勝手に、来年のHadoopとか予想します。外れたら焼き肉おごります。 1 大量データ処理でのデファクト化 ・いわゆるWeb系ではつかっていないところは一社もなくなる 特にレコメンデーションエンジンあたりは、もう普通に実装して使う。ただし、それ以上のものは出ない。集計処理と推論をうまく利用したレコメンデーションエンジン（とその亜流）、従来からのフィルタリン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Cloudera Japan
今さら聞けないHadoop セントラルソフト株式会社(20120119)
