Apache Hiveの今とこれから
分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～（NTTデータ テクノロジーカンファレンス 2020 発表資料） 分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～ （NTTデータ テクノロジーカンファレンス 2020 発表資料） 2020年10月16日（金） NTTデータ システム技術本部 デジタル技術部 梅森 直人 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中！ https://www.youtube.com/watch?v=NDb9nORBT_A "Apache Flink’s Exactly-Once Semantics (EOS) integration for writing to Apache Kafka has several pitfalls, due mostly to t
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。hadoophiveImpalaElasticMapReduceEMR EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2-s3-rds-elasticache-and-elastic-mapreduce.html 値段の問題もあり、ニコニコデータセット分析環境は、hadoopのバージョン1系でm1.mediumを3台利用して、分
Hive/Hivemallを利用した広告クリックスルー率(CTR)の推定 - Qiita
Hadoop Advent Calendar 2013 2013 12/25のXmasエントリです。 本記事では私が開発しているHadoop/Hive上で動作する機械学習ライブラリのHivemallについて、KDD Cup 2012, Track 2のデータセットを用いて利用方法を解説します。 https://github.com/myui/hivemall 基本的にプロジェクトのWikiサイトにあるKDDCup 2012 track 2 CTR predictionの説明を丁寧にしたものです。a9a binaryやnews20 binaryの方がよりシンプルの例ですので、そちらも参考にして頂ければと思います。 KDD Cup 2012, Track 2のCTR推定タスク このタスクは与えられたセッション情報（ユーザ属性と広告の属性）をもとに、検索エンジンの広告クリック率(Click-Th
SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
