バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
ドリコムを支えるデータ分析基盤 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の4日目です ３日目は、@arihh さんによる 3年くらいお菓子神社運営してきた です 自己紹介 @ka_nipan ドリコムに新卒で入社し、Android開発、BtoBtoC のwebサービス開発を経て、現在は弊社アプリのログ収集から集計、可視化、その他周辺ツールといった分析基盤の面倒を見ています 本日はそのデータ基盤の話を書きます データ分析基盤全体図 弊社では Hadoop をオンプレで運用していて、そこにログや分析用のデータを置いています メリット 運用コストが安い Treasure Data、Big Query、Amazon Redshift 等の外部サービスを使うよりは安く済みます 自由度が高い 各サービスには容量をはじめ色々と制限があったり、こちらの要求仕様にマッチしない部分が少なからずありますが、自前の場合その辺は融
Hive Query Language Reference Moved – Arm Treasure Data
This content has moved to https://go.treasuredata.com/tddocs_reference About Apache Hive Query Language use with Treasure Data About Hive Functions Hivemall Function Reference Treasure Data Function Reference Constraints for Hive with Treasure Data Hive Built-in Operators Hive Function Reference Hive Built-in Aggregate Functions Supported Hive Functions from Newer Versions of Hive Hive Known Limit
今日からはじめるお手軽 Hive データ移行 - mixi engineer blog
こんにちは． 昨年知人のオーケストラ演奏会で聴いたメンデルスゾーン交響曲第４番「イタリア」が大好きな，技術部の石川有です． そんな「イタリア」大好きな私ですが Hive のデータ移行も大好きという体で， 今回の記事ではオンプレミスで Hive を頑張って運用している方たちに向けて，どうしてもというときの Hive のデータ移行方法を紹介したいと思います． 弊社では最近，Cloudera's Distribution including Apache Hadoop 3 update 2 (CDH3u2) から CDH 4.1.2 にバージョンアップを行なっています． このようにオンプレミスで Hive を運用している方たちの中には，すでに持っているデータをうまく移行したいという方も多いかと思います． Hive には現状 MySQL の mysqldump のような機能が提供されていないのでバ
HiveでLTSVを利用する - Qiita
SerDeを用意してもいいんですが、Hiveの機能でmapのdelimiterを指定できるので、それを使うとLTSVな行をmap<string, string>として読むことができます。 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\n' COLLECTION ITEMS TERMINATED BY '\t' MAP KEYS TERMINATED BY ':' CREATE EXTERNAL TABLE some_ltsv_table ( record map<string, string> ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\n' COLLECTION ITEMS TERMINATED BY '\t' MAP KEYS TERMINATED BY ':' STORED AS TEXTFIL
HiveでJSONデータの分析（の準備） – OpenGroove
fluentdでJSON形式のデータを溜め込んだらそれを分析してみたいよね…、ということでHiveでJSONデータを扱うには、という観点でうっすら調べてみた（分析までやっていないので「準備」です）。 実はその前に、fluentdのログをJSONではなくLTSVというフォーマットで出力するプラグインも試してみた。LTSVというのははてなが開発したフォーマットで、これでTSVファイルとして変換できれば当然Hiveでも扱いやすくなる。しかし、こっちの方がJSON parserを調べるよりてっとり早くていいかも、という目論みは通らなかった。2つほどプラグインを実装してみたが、fluentdの起動時にFAILEDになってしまい動作以前の問題。基本的な導入方法とか設定が間違っているのかもしれないが、何せ開発元のドキュメントも乏しい。ここで格闘するのも時間の無駄なのでこっちはパス。 で、Hive + J
データサイエンティストのためのHiveQL分析クエリテンプレート その３ - トレジャーデータ（Treasure Data）ブログ
*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 データサイエンティストのためのHiveQL分析クエリテンプレートシリーズ： その１, その２, その３, その４, その５, その６ その２に引き続いてB. < m1|Bin(m2), Bin(m3) >に属するパターンを見ていきます。 パターン B-3：< m1 | Bin(m2) > より一般的なこちらのパターンを見ていきます。 SELECT ceil( #m2/width )*width AS x, SUM(#m1) AS sum FROM ( SELECT #m1, #m2, 1 AS one FROM table WHERE condition ) t1 JOIN ( SELECT POW(10,floor(LOG10(MAX( #m2 )))-1) AS width, 1
Yahoo Betting on Apache Hive, Tez, and YARN
by The Hadoop Platforms Team Low-latency SQL queries, Business Intelligence (BI), and Data Discovery on Big Data are some of the hottest topics these days in the industry with a range of solutions coming to life lately to address them as either proprietary or open-source implementations on top of Hadoop. Some of the popular ones talked about in the Big Data communities are Hive, Presto, Impala, S
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。hadoophiveImpalaElasticMapReduceEMR EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2-s3-rds-elasticache-and-elastic-mapreduce.html 値段の問題もあり、ニコニコデータセット分析環境は、hadoopのバージョン1系でm1.mediumを3台利用して、分
HiveServerがZooKeeperに繋ぎまくってHiveServer2もろとも死ぬ話 - tagomorisのメモ置き場
(訂正あり) HiveServer2で初めて有用になる hive.support.concurrency というプロパティがあって、こいつを有効にするとHiveクエリでテーブルロックがとれるようになる。まあ、でかい変更とかを他に邪魔されずにやりたい時は欲しいかもね。 で、この機能はzookeeperを使うので、オプションを true にするときは hive.zookeeper.quorum を指定しましょう。 が、こいつを有効にしているとき、HiveServer(訂正)およびHiveServer2はzookeeperへの接続をリークさせます。どうなるかというとズバリ zookeeper の maxClientCnxns から溢れて正常に動作しなくなります。 なお HiveServer では hive.support.concurrency は有効にしても意味がありませんが、このコネクション
Hive/Hivemallを利用した広告クリックスルー率(CTR)の推定 - Qiita
Hadoop Advent Calendar 2013 2013 12/25のXmasエントリです。 本記事では私が開発しているHadoop/Hive上で動作する機械学習ライブラリのHivemallについて、KDD Cup 2012, Track 2のデータセットを用いて利用方法を解説します。 https://github.com/myui/hivemall 基本的にプロジェクトのWikiサイトにあるKDDCup 2012 track 2 CTR predictionの説明を丁寧にしたものです。a9a binaryやnews20 binaryの方がよりシンプルの例ですので、そちらも参考にして頂ければと思います。 KDD Cup 2012, Track 2のCTR推定タスク このタスクは与えられたセッション情報（ユーザ属性と広告の属性）をもとに、検索エンジンの広告クリック率(Click-Th
HueでCSVデータからHiveのテーブルを作る
４日目です。 本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@choplinさんが今 (22:30)書いて下さっているとのこと。凄い！ありがとうございます！ ＃決して無理強いはしてないはず、、、、、と信じたい（汗 本日のお題はHueとHiveについてです。 Hiveでテーブルを作成してデータをロードする場合には、1) CREATE TABLEを使用してテーブルを作成し、2) LOAD DATA INPATHなどを使ってデータをロードする、というような手順を踏みます。あるいは、既にデータがHDFS上にある場合、外部テーブルを利用することもできます。 テーブルを作成してデータをロードする例 CREATE TABLE a (a INT, b INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD D
SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
Spark shark
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC EnterpriseYusukeKuramata
CDH4でHiveServerを使う際の注意点 - たごもりすメモ
CDHでHadoopを使っている良い子のみんな、hiveserverまわりで罠があるので気をつけましょう！ という話。ふたつあるので順番に。 hive-server 再起動時にログがtruncateされる hiveserverがなんかおかしかったりすると、原因究明はやるとしてとりあえず再起動、という運用をしてしまう気持ちはよくわかります。が、やってしまうとその日の分のログが消える(！)ので注意が必要だ。 原因は /etc/init.d/hive-server *1の hive_start() 中の以下の部分。 log_success_msg "Starting $desc (${NAME}): " $SU -c "cd $HIVE_HOME ; $exec_env nohup \ $EXE_FILE --service $service_name $PORT \ > $LOG_FILE 2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Batch and Stream processing with SQL
GitHub - myui/hivemall: Scalable machine learning library for Apache Hive/Spark/Pig
HiveとImpalaのおいしいとこ取り
GenericUDFHiveLogo.md
@tagomoris 広めるのにお使いください
