ビッグデータとHadoop(4) Hadoopの仲間達
HiveはFacebookで開発されたMapReduceのラッパーで、日本では分散データウェアハウスとも呼ばれます。HiveはHDFS内のデータに対し、SQLによく似た言語であるHive QLでクエリを発行し、このクエリを内部でMapReduceに変換することで処理を実行します。したがって、HDFS内のデータの問い合わせ処理や集計処理を、MapReduceの設計をしなくても、Hive QLで実行できます。 Pig PigもHiveと同じくMapReduceのラッパーですが、こちらは米Yahoo!により開発されました。Pigは日本ではデータフロー言語とも呼ばれます。PigはPig Latinというスクリプト言語を使い、データフローを定義することで、内部でMapReduceに変換してデータを処理します。PigはGoogleのオープンソースである、ログデータ向けの管理/操作/統計解析言語Sawz
Hadoop、NoSQL、クラウドストレージ向けSQLエンジン「Apache Drill 1.0」が公開 | OSDN Magazine
オープンソースの非営利団体Apache Software Foundationは5月19日、Apache Hadoop、NoSQL、クラウドストレージ向けのスキーマフリーのSQLクエリエンジン「Apache Drill 1.0」をリリースした。 Apache Drillは米Googleの開発するクエリツール「Dremel」のオープンソース実装で、WindowsおよびLinux、Mac上でApache HadoopやNoSQL型データベースなどの非リレーショナルデータストアに保存されているデータへのクエリを行える。HBase、MongoDB、MapR-DB、HDFS、MapR-FSなどのほか、Amazon S3、Azure Blob Storage、Google Cloud Storage、OpenStack Swift、NAS、ローカルファイルもサポートする。単一のクエリで複数のデータスト
「データサイエンティスト」の認定プログラムを開始、米クラウデラ
Cloudera Qualifies Data Scientists with New Certification Program データサイエンティスト認定プログラムの候補者になるには、まずクラウデラのトレーニングコース「Data Science Essentials (DS-200)」と「Data Science Challenge」に合格することが条件となっています。 例えば、Data Science Challengeの最新の課題は次のようなものです。 In the U.S., Medicare reimburses private providers for medical procedures performed for covered individuals. As such, it needs to verify that the type of procedures pe
HadoopとNoSQL対応を強化したデータ統合技術「Talend 5.3」がリリース | OSDN Magazine
仏Talendは5月16日、オープンソースのデータ統合プラットフォーム最新版「Talend 5.3」を発表した。HadoopとNoSQLデータベースの対応強化などが特徴となる。 Talendはデータ統合「Data Integration」、データ品質「Data Quality」、マスターデータ管理「MDM」、エンタープライズ・サービス・バス「ESB」、ビジネスプロセス管理「BPM」、ビックデータ「Big Data」などのコンポーネントを含むデータ統合プラットフォーム。GPLv2またはApache License 2.0で提供される無料のオープンソース版「Talend Open Studio」と、有料サブスクリプション形式で提供するエンタープライズ版「Talend Enterprise」がある。 Talend 5.3は2012年11月に公開されたバージョン5.2に続く最新版。Big Data
あのジェリー・ヤンも出資! 話題のベンチャーTreasure Dataがめざすのは"ビッグデータをシンプルに"─Hadoop Conference Japan 2013 Winterレポート（3） | gihyo.jp
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
Hadoopはビッグデータの汎用プラットフォームであり、行く先はグーグルが示している
Hadoopはビッグデータ処理の汎用プラットフォームであり、SQLやジョインやトランザクションなどが使えるようになる。Hadoopの生みの親であるダグ・カッティング氏は、都内で開催された日本Hadoopユーザー会主催のイベント「Hadoop Conference Japan 2013 Winter」にビデオメッセージで参加。Hadoopの現在、そして将来像について語りました。 カッティング氏が語ったHadoopの将来とはどんなものなのか。ポイントを紹介しましょう。 バッチ処理を超え続くApache Hadoopの進化 Apache Software FoundationのChairmanでありClouderaのChief Architect、Doug Cutting氏。 今日はみなさんと一緒に参加したかったのですが残念ながらかなわず、このビデオをお送りすることになりました。 MapRedu
「LINE」を支えるHBaseの裏側など、Hadoop Conferenceが開催
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2013 Winter」が2013年1月21日、東京ビッグサイトで開催された（写真1）。スマートフォン向けコミュニケーションツール「LINE」を運営するNHN Japanの中村俊介氏が、LINEのストレージとして利用する「HBase」の運用ノウハウを語るなど、ユーザー企業やHadoop関連ベンダーによる21セッションが行われた。 Hadoop Conference Japanが開かれるのは、今回が4回目。冒頭のセッションでは、Hadoopのオリジナル開発者であるダグ・カッティング氏（Apacheソフトウエア財団会長）がビデオメッセージを寄せ、今後のHadoopの開発方針などを説明した。 Hadoopは、米グーグルが2000年代前半に論文発表した分散ファイル
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop MapReduceのスケーラビリティに限界を感じており、それを解決するための新しいソフトウェア「Hadoop Corona」を開発、オープンソースで公開しました。 Facebookのページ「Under the Hood: Scheduling MapReduce jobs more efficiently with Corona」では、従来のHadoop MapReduceのどこに課題があったのか、4つ
日本を代表するビッグデータ技術者集団が米国で起業、米トレジャーデータがDWHクラウド開始
写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージングミドルウエアMessagePackを開発した古橋貞之氏、MongoDB JPの設立メンバー井上敬浩氏などが参加している 米トレジャーデータは2012年9月27日（米国時間）、データウエアハウス（DWH）のクラウドサービスである「Treasure Data Cloud Data Warehouse（DWH） Service」を開始したと発表した。「Hadoop」をベースにしたDWHだが、Hadoop独自の「MapReduce」ではなく、SQLのクエリーや「JDBC」「ODBC」などを使って蓄積したデータを活用できることが特徴。米国
日々進化するHadoop。これまでのおさらいと最近の動向（前編）
大規模な分散処理フレームワークとしてHadoopが登場したことにより、ビッグデータのブームや、大規模なソーシャルゲームでのログ解析による改善、コマースサイトでの機械学習によるレコメンデーションなど、多くの変化が引き起こされてきました。 そしてそのHadoop自体も、日々進化し続けています。 Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行ったセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 この記事ではそのセッションの内容をダイジェストで紹介しましょう。 日々進化するHadoopの「いま」 NTTデータ 基盤システム事業部 濱野賢一朗氏。 NTTデータというところで仕事をしています。NTTデータ自体はもう5年くらいHadoopをやってまして、そ
米Twitter、リアルタイムデータ処理システム「Storm」をオープンソースで公開 | OSDN Magazine
米Twitterは8月4日、リアルタイムデータ処理システム「Storm」をオープンソースにする計画を発表した。Stormは同社が7月に買収した米BackType Technologyの技術で、データストリームの解析などに利用できるという。 Stormは「リアルタイムデータ処理のHadoop」を標榜する技術で、大量データの分散処理を行うためのクラスタシステム。BackTypeがTwitterに買収される前の6月に発表、オープンソースにする計画を明らかにしていた。 StormはJava仮想マシン上で動作し、さまざまなプログラミング言語で行う処理を実装できる。クラスタシステムはクラスタをコントロールする「Nimbus」、実際の処理作業を実行する「Supervisor」、Supervisorを監視・制御する「Zookeeper」から構成され、Supervisorノードが処理を分割してZookeep
Apache CassandraとApache Hadoopを一体化した「Brisk」発表 | OSDN Magazine
「Apache Cassandra」の商用サービスを提供する米DataStaxは3月22日（米国時間）、Cassandraと「Apache Hadoop」を組み合わせたディストリビューション「Brisk」を発表した。1カ月半後のリリースに向け、ユーザー登録を開始している。 Apache CassandraとApache Hadoopはともに非営利団体Apache Software Foundation（ASF）のオープンソースプロジェクト。Apache Cassandraは元々は米Facebookで開発された技術。オープンソースの分散データベース管理システムで、大規模データ用の拡張性などを特徴とする。一方、Apache Hadoopは米Yahoo!がASFに寄贈した技術で、大規模データ用の分散コンピューティング用ソフトウェアとなる。 DataStaxが発表したBriskは、HadoopとH
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
MapReduce on Tyrant - mixi engineer blog
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。 MapReduceとは Googleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dataproc
HadoopをWindows上の仮想マシンで手軽に試す方法
HBase at LINE
OSSで支えられるライブドアの巨大ログ集計 #nhntech
Amazon.co.jp: Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理: Jimmy Lin (著), Chris Dyer (著), 玉川竜司 (翻訳), 神林飛志 (監修), 野村直之 (監修): 本
Apache Hadoop Distribution | MapR
