Hadoop成功のカギはオープンソースにあり ─“Hadoop生みの親”ダグ・カッティング氏インタビュー | gihyo.jp
「これからの時代、プラットフォームとして選択するテクノロジはオープンソース以外にありえない。むしろプラットフォームテクノロジたりうるにはオープンソースであることが要求される。」─7月8日、東京・汐留で開催された「Hadoop Conference Japan 2014」の基調講演において、Hadoop生みの親として知られるClouderaのチーフアーキテクト ダグ・カッティング（Doug Cutting）氏はこう言い切りました。そしてこの言葉はオープンソース信者の妄想でも何でもなく、現在、世界中のIT関係者が共有する一般的な認識となっています。 少し前までは企業や大学の片隅に置かれたスパコンやメインフレームの独壇場だった並列分散処理システムを、安価で汎用的なハードウェア上で稼働させ、さらにサーバ台数を増やせば増やすほど処理能力を高めるというスケールアウトを実現したことで、Hadoopは
Hadoopの使い方のまとめ(2016年5月版) - Qiita
Apache Hadoop (以下Hadoop) が登場して10年が経ち、その間にHadoopとそのエコシステムも誰も予想できないほど大きく進化してきた。当初バッチ処理専用と言われていたHadoopも、今やSQLエンジンや機械学習など様々なアプリケーションを動作させることができる汎用基盤となっている。しかし、「Hadoopとは何か？」「Hadoop入門」のような初心者向け記事は未だに初期の頃のHadoopを想定した説明しかしておらず、現在のHadoopについて正しい情報を伝えていないように見える。一方、「最新のHadoop」といった類の記事は新機能や性能向上ばかりに着目し、それらの進化がどのような意味をもたらしているかについて説明をしていないように感じる。この記事では、10年に渡る進化を遂げたHadoopが現在どのような使われ方をしているのかについて簡単にまとめる。 「Linuxはこう使う
Hadoopが扱う機密データのマスキングについて - Qiita
CDH 5.4 から導入された、Sensitive Data Redaction (機密データのマスキング) 機能を紹介します。 できること Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングが可能です。 必要なもの CDH 5.4 / Cloudera Manager 5.4 手順 Cloudera Managerにログインし、HDFSサービスを選択します。 2. HDFSの設定画面で、「redaction」で検索します。 3. デフォルトでは「クレジットカード情報」、「社会保障番号」、「ホスト名」、「メールアドレス」のマスキングテンプレートが用意されています。カスタムのマスキングを定義することも可能です。ここではクレジットカード情報をマスキングします。 4. 設定画面内で、マスキングがどのように動作するのか、テストすることができます。
「Hadoop」の本格普及はまだ先--導入促す鍵は？
「Hadoop」への関心が高いことは事実だが、それが実際に導入に結びつくわけではない。導入を促すには鍵となる2つのことが必要だ。 Hadoopはいつも最高情報責任者（CIO）よりブロガーの間で大きな話題になっているが、導入が拡大していることを示す兆候もある。とはいえ、Gartnerが先頃発表したデータを見る限り、Hadoopの未来が訪れるまでには、間違いなく非常に長い時間がかかりそうだ。 具体的には、どのくらいの時間がかかるのだろうか。 それは、Hadoopがどれだけ早く330億ドル規模の市場を作り出せるかによって決まる。 革新は容易ではない Gartnerのアナリスト（でビッグデータの熱烈な支持者でもある）Merv Adrian氏は、Hadoopの支持者にどのように対抗するつもりなのかと問う人々に、率直な反論を用意している。「答えは単純だ。われわれはデータを確認した」 そのデータは、Ha
Spark が次のビッグデータの主役、という主張についての疑問
Sho Shimauchi @shiumachi "Sparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている" ちょっと私の理解と違うかなあ itpro.nikkeibp.co.jp/atcl/column/15… Sho Shimauchi @shiumachi SparkはHadoopと比較するのではなく、 MapReduceと比較するものだと思っている。 バッチ処理(MapReduce)や、SQL (Impala/Presto/Drill)、全文検索(Solr/Elasticsearch)等に並ぶ新しい分散処理がSparkという認識 Sho Shimauchi @shiumachi そもそもHadoopは何か。HDFS(分散ストレージ)+MapReduce(分散バッチ処理)だけの時代はこのまま覚えていればよかった。しかし、Map
マイクロソフト、「HDInsight」のLinux版をプレビュー公開
Mary Jo Foley （Special to ZDNET.com） 翻訳校正： 編集部 2015-02-19 10:37 Microsoftは米国時間2月18日、Linux向け「HDInsight」のプレビュー版を公開した。HDInsightは「Azure」上でオープンソースの分散並列処理プログラミングフレームワーク「Apache Hadoop」を利用できるサービス。 Windows版と同様、Linux版HDInsightは「Hortonworks Data Platform（HDP）」上に構築したものだ。Apache Hadoopと完全互換で、「Excel」「SQL Server」「PowerBI」などMicrosoftのビジネスインテリジェンス（BI）ツールとも統合できる。MicrosoftはLinux版HDInsightについても、開発したコードをApacheコミュニティーに提
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
「Apache Spark」にかけるHortonworksの取り組み--インメモリエンジンをどう強化するか
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Hadoop」関連のソフトウェアとサービスを提供するHortonworksは米国時間9月24日、「Apache Spark」に関する計画を明らかにした。このインメモリエンジンを、エンタープライズでの利用に向けてさらに優れた選択肢にすることが目的だという。 同社は、Sparkと、Hadoopのリソース管理レイヤである「YARN」の連携を向上させ、ガバナンスとセキュリティ、オペレーションに優れたインメモリエンジンを提供するための取り組みに力を入れている。 SparkをYARNとより深く連携させる目的は、Sparkが、単一データプラットフォーム上で「Hive」「Storm」「HBase」といったほかのエンジンと連携してより効率的に稼働するよ
MapReduceは「ゆっくり死んでいく」、Hadoop開発者のカッティング氏
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向
SankeiBiz（サンケイビズ）：自分を磨く経済情報サイト
サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
データセンター技術への投資としては「過去最大」：米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合 - ＠IT
米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合：データセンター技術への投資としては「過去最大」 米インテルは2014年3月27日、Apache Hadoopディストリビューションプロバイダーの米クラウデラ（Cloudera）への出資を発表した。インテルのHadoopディストリビューションは、クラウデラの「Cloudera's Distribution including Apache Hadoop」（CDH）に統合する予定だ。 米インテルは2014年3月27日、Apache Hadoopディストリビューションプロバイダーの米クラウデラ（Cloudera）への出資と、広範な戦略提携を発表した。インテルは同社の筆頭戦略株主となり、取締役に就任する。 クラウデラへの出資は、インテルがデータセンター技術に行う投資としては過去最大級。Hadoopをベースとするクラウ
Hadoopは誰が開発しているのか（2013年） - あした、きっと かわる。。。
この投稿は @hamaken によるHadoop Advent Calendar 2013の18日目の記事です。 このエントリでは、Hadoop が誰の手によって開発されているのか・・・を紹介します。 これまでに Hortonworks や Cloudera によって Hadoop に貢献したコード量などの集計が紹介されてきました*1。しかし、2011年を最後に新しいデータが出てきていないので、2013年はどうだったのかなー、と思い集計してみました。 集計作業は @ajis_ka さんに協力してもらいました。ありがとうごさいます！ ■ 集計方法 皆さん、ご存じのとおり Apache Hadoop の開発は JIRA を中心に進められています*2。新機能も、バグ修正も、JIRA の Issue として登録・管理されるのが原則です。 今回の集計では、Hadoopの主要コンポーネント（HADOO
Hadoop初のメージャーバージョンアップ「Hadoop 2」正式版が公開。MapReduce以外の分散処理フレームワークも実行可能に
The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator
niw.at — たのしい Scalding 入門
TL; DR: git clone https://github.com/niw/scalding_examples.git ざっとググった感じ、Scalding についてはまだあまり日本語情報なさそうなので、こう広めたりする目的も込めてちょっとまとめておこうと思います。 Scalding とは Scalding とは、Scala に相当入れ込んでる Twitter で使われているライブラリで、Hadoop の MapReduce を Scala で簡単に書けるものです。中身は Cascading をラップしたものになっています。 Scala に相当入れ込んでる Twitter ではしかしながら Pig が頻繁に使われているのですがある方面では Scalding が使われておりまして、Pig と肩を並べられるくらいに使えて、さらに Scala の秘めた力も使えるんだぜ…! と、少なくとも
米クラウデラ、Hadoop用検索ツール「Cloudera Search」を発表
米クラウデラは現地時間2013年6月4日、「Hadoop」に蓄積するデータへの対話型検索ができるソフトウエア「Cloudera Search」を発表した。オープンソースソフトウエア（OSS）の検索エンジン「Solr」をベースに機能を強化した。同日からベータ版を公開している。 Hadoopではデータは「HDFS（Hadoop Distributed File System）」に保存する。HDFSのデータに対するバッチ処理を実行するのが「MapReduce」であり、HDFSのデータに対する低遅延ランダムアクセスを行うためのソフトとして「HBase」がある。クラウデラは、MapReduceやHBase以外の処理手段を増やしており、HDFSのデータへの対話型SQLクエリー処理を行うためのソフトとして2012年秋に「Cloudera Impala」のベータ版を公開している。 今回発表したCloude
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop、Spark、ビッグデータ関連書籍 | Tech Blog
SparkとHadoopは友だちである、敵ではない | TechCrunch Japan
Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開
リアルタイムアプリケーション、YARNで運用可能に | Hadoop Times
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
