「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Apache Hadoopエコシステムにおける、異なるファイル形式とストレージエンジンのパフォーマンス比較
著者/Author: Zbigniew Branowski (Cern) 原文/Original：http://blog.cloudera.com/blog/2017/02/performance-comparing-of-different-file-formats-and-storage-engines-in-hadoop-file-system/ Zbigniew Baranowskiはデータベースシステムの専門家であり、CERNでセントラルデータベースとHadoopベースのサービスを提供、サポートしているグループのメンバーです。 このブログはもともとCERNの「Databases at CERN」ブログで公開されており、CERNの許可を得てここで公開されています。 トピックこの記事では、Apache Hadoopエコシステムで利用可能ないくつかの一般的なデータフォーマットとストレー
Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②
1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2017年1月30日 1 ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 DCNW1 深澤 開 Network for the Large-scale Hadoop Cluster at Yahoo! JAPAN 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 名前 深澤 開 (ふかざわ かい) 所属 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部 システム統括本部 サイトオペレーション本部 インフラ技術3部 (兼務) 業務 全社Hadoopの設計・構築・運用 データセン
Apache Bigtop で Docker コンテナ上に Hadoop ソフトウェアスタックを構築する - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016 の24日目です。この記事では、Hadoop クラスタを手軽に手元に構築したいときに便利な、Apache Bigtop の機能について紹介したいと思います。 Apache Bigtop とは Apache Bigtop は、Hadoop とその周辺ソフトウェアをビルドし、 deb や rpm といった形式でパッケージ化することで、各種 Linux ディストリビューションへの導入を容易にするためのプロジェクトです。それ以外にも、以下のような機能を持っています。 作成したパッケージをクラスタ内の各ノードにデプロイし、適切に設定するためのプロビジョニング機能 デプロイ結果の確認や、ソフトウェアバージョン間の相互運用性の担保に使われる、統合テスト・スモークテス
Apache Hadoopのユニットテストを回す - Qiita
-Pnative: ネイティブライブラリをビルドし、それが必要なテストを実行する -Pshelltest: シェルスクリプトのテストを実行する このコマンドを実行すると全てのmoduleでテストしてくれるのですが、テストが失敗したmoduleで止まってしまい、全てのmoduleでテストを回すことができません。Apache Hadoopでは時々失敗するテストがいくつかあり、それが完全には修正されていないため、大抵はhadoop-hdfs moduleで落ちてしまい、それ以降のテストは実行されないということになります。各moduleのルートディレクトリに移動してテストをすればいいのですが、module自体が大量にあるので若干面倒です。 全moduleでテストを回す 全moduleでテストを回すには、qbt(quality build tool)というツールを使うのが楽だと思います。Apache
Hadoop におけるテストの効率化 - Qiita
Hadoop には大量のテストがある．中には疑似分散環境を用いたテストが存在するため，その実行には多くの時間を必要とする．本稿では，開発を効率化するために，どのようにしてテストを効率的に行うかについて述べる． 実行するテスト数の削減 明らかに関係のないテストをスキップする方法である．ただし，この方法を用いることができるのは，自分の変更したソースコードの影響範囲が，ある程度把握できる場合にのみに限られる． 特定のテストのみの実行 maven には，特定のテストクラスのみを実行する機能が備わっている．この機能を利用するには，以下のようにして実行したいテストクラスを指定する．
【分散型アーキテクチャを試してみる】第2章 〜Apache AmbariHadoop,YARN,Zookeeper,Spark編〜 - Qiita
【分散型アーキテクチャを試してみる】第2章 〜Apache AmbariHadoop,YARN,Zookeeper,Spark編〜ZooKeeperApacheSparkYARNApacheZookeeper 【分散型アーキテクチャを試してみる】第2章 〜Apache Ambari,Hadoop,YARN,Zookeeper,Spark編〜 あらすじ 最近は日本にいなかったり、インタビューや講演ばっかり受けてて、Qiitaサボリ気味でしたが、少しずつ再開しようと思ってます。 膨大なデータを取り扱ったり、大規模向けシステムが当たり前になってきている中、機会がないと触れることがない分散型アーキテクチャを試してみようという事で、勉強会で使った資料を公開していきます。 ※後々、リクエストに応じて更新することが多いのでストックしておくことをおすすめします。 自分は某社でCTOをしていますが、頭でっか
Hadoop基盤上のETL構築実践例 ～多様なデータをどう扱う？～ by ペンギン愛好家 さん - niconare
2016/05/26 D&S Data Night vol.02
第20回 Sparkの設計と実装［1］～登場の背景とデータ処理の特徴 | gihyo.jp
はじめに 今回から2回に渡って、並列データ処理系のひとつであるSparkについて解説します。まずはじめに、Sparkの開発が始められた経緯を紹介し、次にSparkの特徴を説明します。 Sparkが登場した背景 Sparkは、Hadoop MapReduceと同様に、複数の計算機を用いてデータ処理を行う並列データ処理系です。2009年に、カリフォルニア大学バークレー校のAMPLabにて、Matei Zaharia氏を中心として開発が始まりました。Sparkの開発が始まった当時、世の中にはすでにHadoopが存在しており、高い耐障害性を有しかつスケーラブルな並列データ処理を、コモディティな計算機を用いて行うことは一般的になりつつありました。しかし、Hadoop MapReduceは必ずしも個々の計算機のメモリを効率的に活用する設計ではありませんでした。 Hadoop MapReduceは、ジョ
java 初心者が hadoop 開発できるようになるまで何を勉強したらいいですか？ - Qiita
質問 java 初心者が hadoop を開発できるレベルになるまで何を勉強したらいいでしょうか? おすすめの書籍、サイト、勉強法等あれば教えてください。 回答 java 初心者ということで, java に話題を絞って回答します. まずは「独習 java」でも Web 上の教材でも何でも良いので, java について構文とか基本的なところを押さえましょう. javadoc, jar については知っている必要があります. ant, maven まで概要を押さえられれば尚良いです. 次に hadoop プロジェクトが使用しているライブラリを把握しましょう. これは pom.xml という xml ファイルの dependencies 要素の中に列挙してあります. それぞれのライブラリがどのような目的のものかを把握するくらいで最低限良いでしょう. ライブラリの javadoc を読むのも良いです
Hadoopの使い方のまとめ(2016年5月版) - Qiita
Apache Hadoop (以下Hadoop) が登場して10年が経ち、その間にHadoopとそのエコシステムも誰も予想できないほど大きく進化してきた。当初バッチ処理専用と言われていたHadoopも、今やSQLエンジンや機械学習など様々なアプリケーションを動作させることができる汎用基盤となっている。しかし、「Hadoopとは何か？」「Hadoop入門」のような初心者向け記事は未だに初期の頃のHadoopを想定した説明しかしておらず、現在のHadoopについて正しい情報を伝えていないように見える。一方、「最新のHadoop」といった類の記事は新機能や性能向上ばかりに着目し、それらの進化がどのような意味をもたらしているかについて説明をしていないように感じる。この記事では、10年に渡る進化を遂げたHadoopが現在どのような使われ方をしているのかについて簡単にまとめる。 「Linuxはこう使う
Apache Spark の革命的リアルタイム用法 | Hadoop Times
Hadoop がホストする Apache Spark は多くのデータを素早く処理するのに優れている。しかし、もしリアルタイムでデータを処理できればもっと良いのではないか？もし迅速な決断があなたのビジネスで大切なら、間違いなく Spark Streaming のような Spark スタックを含む MapR ディストリビューションを検討した方が良い。 リアルタイム ビッグデータ処理の素晴らしい、最新の、革命的ないくつかの使い方を紹介しよう。 クレジットカード詐欺摘発 クレジットカードをスワイプし、レシートにサインをし、買物をする。あなたではない人が。あなたの財布が盗まれたのかもしれない。ハッカーがあなたの情報をどこかのサイトから盗んだのかもしれない。近所のガソリンスタンドでクレジットカードがスキミングに遭い、番号を知られたのかもしれない。どのように起きたとしても、それはクレジットカード詐欺（ビ
HDFS SnapshotsとDistCpを利用したHDFSデータの差分更新 - Qiita
Cloudera Engineering BlogにてCDH5.5にDistCpの高速化が実装されたと紹介されていたので、試してみました。 リンク先の説明を読んだ限り、2つのHDFS Snapshot間の差分情報を使って 削除・名前変更はDistCpを使わずに反映 新規作成・変更されたファイルだけをDistCpで同期 することで、高速化を図っているようです。 試した環境は、 CentOS: 7.2 (64bit) CDH 5.7.0 (擬似分散) です。 HDFSの準備 今回は、 同期元ディレクトリ：/user/hadoop/source 同期先ディレクトリ：/user/hadoop/target という状況とします。 [hadoop@localhost ~]$ hdfs dfs -mkdir source [hadoop@localhost ~]$ hdfs dfs -mkdir tar
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
[Japanese only] Data Analysis and Data processing framework
A talk at NTT Docomo Innovation Village.
![[Japanese only] Data Analysis and Data processing framework](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ea4650413289fa991a57b1b0a8436d7276ba76a/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F766090eeb47242cfa57861c1f386f23a%2Fslide_0.jpg%3F5873689)
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” 2013年10月にHadoop 2.2が正式リリースされて以来、Hadoopの世界は大きく変わりました。それまでの概念である「Hadoop＝ HDFS＋MapReduce」が刷新され、MapReduceが受け持っていたMapデータ処理とクラスタリソース管理が分離できるようになりました。これにより、SparkなどMapReduce以外のデータ処理エンジンがHadoop上で利用可能になりました。 そしてHadoopのクラスタリソース管理を行うミドルウェアとして、新たなデファクトスタンダードの地位を確立しようとしているのが「Apache Hadoop YARN（Yet Another Resource Negotiator： YARN）」です。YARNの登場は並列分散処理にどん
Apache: Big Data North America 2016 2016 | Linux Conferences and Linux Events | The Linux Foundation
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tech Blog
リクルート式 自然言語処理技術の適応事例紹介
TechCrunch | Startup and Technology News
