データドリブン企業における、hadoop基盤とETL #hcj2016
Hadoop Conference Japan 2016 で発表した資料です。 http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-20809016328 この資料は前半部分です。ドワンゴ志村様による後半部分はこちら: http://www.slideshare.net/smrmkt/hadoopetl-niconico ---- (アブストラクト) ETL(Extract, Transform, Load) は、外部のソースからデータを抽出し、業務上必要な形に加工し、データ基盤にロードするための一連の技術です。Hadoopの登場により、スケーラブルかつ柔軟なスキーマ構造を持つデータレイヤーであるHDFSに代表される、ETLにおける多くの物理アーキテクチャに変化がもたらされました。しかし一方で、ETL
Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp
第21回Sparkの設計と実装［2］～Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔，山田浩之 2016-06-08
Hortonworksのイベントに行ってきた - wyukawa's diary
Hadoop and the Modern Data Architecture に行ってきました。 立派なホテルで良いイベントでした。ありがとうございました。＞ Hortonworksのみなさま セッションや会場にいた人との会話について少し書きます。 まず僕が使っているAmbariに関して発表がありました。 それによると、Hueみたいなクエリをsubmitする機能が入る模様。どうもHadoopクラスタへのアクセスをすべてAmbari経由にしたいようだ。うーん、それはどうなんだろ。。。Prestoあるし。個人的にはそれよりもっとクラスタ管理に注力してほしいと思ったり。。。例えばエラー通知をメールじゃなくてHipChatとかSlackにとばせるようにするとか。 Ambariで使っているNagios, Gangilaはdeprecatedになり、メトリクスをHBaseにためてPhenioxでクエ
2014年の象(Hadoop)四方山話
Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連（全部俺） Advent Calendar 2014の1日目です。 初日なので、昨年ブログに続いて2014年のHadoop関連の話題をまとめます。 ※このブログの内容は所属している組織には関係なく、個人的な雑感です。間違いがあればご指摘下さい。 ※なお、中立的に書いているつもりですが、多少偏りがあるかもしれません。が、特に悪意はありません :p 俺的Hadoopの話題2014: ベスト3 Apache Sparkの盛り上がりが加速 SQL on Hadoop は混沌 Hadoopは堅調に進化。徐々に消えていく！？ （次点: Hueも大幅に進化してますが、これはいずれ紹介します） 1. Apache Sparkの盛り上がりが加速 今年になってますます盛り上がっているAp
Workflow Engines for Hadoop
Building a reliable pipeline of data ingress, batch computation, and data egress with Hadoop can be a major challenge. Most folks start out with cron to manage workflows, but soon discover that doesn't scale past a handful of jobs. There are a number of open-source workflow engines with support for Hadoop, including Azkaban (from LinkedIn), Luigi (from Spotify), and Apache Oozie. Having deployed a
Genie - Hadoop Platform as a Service at Netflix
In a prior tech blog (http://nflx.it/XoySYR), we had discussed the architecture of our petabyte-scale data warehouse in the cloud. Salient features of our architecture include the use of Amazon’s Simple Storage Service (S3) as our "source of truth", leveraging the elasticity of the cloud to run multiple dynamically resizable Hadoop clusters to support various workloads, and our horizontally scalab
S3 上の大量データを EMR するときは S3DistCp を使うと捗る – I'm Sei.
CloudFront のアクセスログを S3 に出力するように設定していると、日に日に大量のログファイルが溜まっていきます。 中には 1 MB 程度のファイルもあれば、数百 bytes 程度の小さなものもあります。 何にせよ、とにかく大量にあります。 小さいファイルはまとめるCloudFront のログのように小さいファイルが大量にあるようなケースは Hadoop が苦手とするパターンで、そのまま扱うと大抵めちゃんこ時間がかかります。 そういう場合は、S3DistCp という便利ツールを使って S3 上のログファイルをもうすこし大きいサイズに連結して、HDFS にコピーするとパフォーマンスがあがることがあります。 ちなみに、EMR のベストプラクティスによると、Gzip で圧縮されている場合は 1 ~ 2GB、LZO で圧縮されている場合は 2 ~ 4GB が最適なファイルサイズらしいです
SQL on Hadoop in Taiwan
This document discusses SQL engines for Hadoop, including Hive, Presto, and Impala. Hive is best for batch jobs due to its stability. Presto provides interactive queries across data sources and is easier to manage than Hive with Tez. Presto's distributed architecture allows queries to run in parallel across nodes. It supports pluggable connectors to access different data stores and has language bi
データ分析環境について書いてみる - wyukawa's diary
ログをHDFSに集めてHiveでETLや集計を行い集計結果をRDBMSに蓄積してレポーティングツールで可視化するというのは一般的な話だと思います。 データの流れでいうと App -> HDFS -> RDBMS -> レポーティングツール という感じです。 他にもPrestoのようなlow latencyなツールが加わることがあると思います。これらのツールをどう組み合わせてどうETLをまわしていくのがいいのかつらつらと最近考えております。 僕が経験したのはPythonでETL処理を書いて（内部的にはhiveserverにhiveクエリを投げたり、MySQLに集計結果を保存したり）、スケジューリングはcron, Azkabanで、集計結果はMySQLでレポーティングツールは自作でというものです。adhocなデータ分析はshib使います。まあこれでも十分運用回ってるんだけど、他にも良い方法が無
mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
Powering Interactive Data Analysis at Pinterest by Amazon Redshift
Amazon Redshift is a fast, petabyte-scale data warehouse that makes it easy to analyze your data for a fraction of the cost of traditional data warehouses. In this webinar, you will learn how to easily migrate your data from other data warehouses into Amazon Redshift, efficiently load your data with Amazon Redshift's massively parallel processing (MPP) capabilities, and automate data loading with
MapReduce Patterns, Algorithms, and Use Cases
In this article I digested a number of MapReduce patterns and algorithms to give a systematic view of the different techniques that can be found on the web or scientific articles. Several practical case studies are also provided. All descriptions and code snippets use the standard Hadoop’s MapReduce model with Mappers, Reduces, Combiners, Partitioners, and sorting. This framework is depicted in th
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium
2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ
Hadoop 2 @Twitter, Elephant Scale. Presented at
MySQL Applier for Apache Hadoop: Real-Time Event Streaming to HDFSMats Kindahl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop World 2011: Hadoop Troubleshooting 101 - Kate Ting - Cloudera
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Python + Hive on AWS EMR で貧者のログサマリ
Blog - LINE ENGINEERING
オライリーのHadoop関連本リリース予定 (2014/8時点)