Evolution of Impala #hcj2014
Hadoop Conference Japan 2014 で発表した、Impala の資料です。Read less
Cloudera Impalaのアーキテクチャ
（本ブログは若干古くなっているので、Impala情報ページをご覧下さい。比較的新しい情報をまとめています） 一人アドベントカレンダー２５日目、最終日です。 最終日はCloudera Impala（以下Impala）について。Impalaは分散クエリエンジンです。最近EMRでも利用できるようになりました。 Hiveとは何が違うのか、なぜHiveを高速化しなかったのかというような意見もあるようですが、その答えはClouderaの創業者でもあるMike Olsonが今週公開したブログ（Impala v Hive）に詳しく書かれています。かなり興味深い内容ですが、今のところ英語のみです。きっと日本語の記事もいずれ読めるようになるはず。。。 さて、最終日はCloudera Impalaのアーキテクチャについて書いてみます。引用している資料はSlideshareでClouderaが公開しているものです
Impala 2.0 Update 日本語版 #impalajp
2014/10/31に Tokyo Impara Meetup で実施した嶋内の発表の日本語資料です http://connpass.com/event/9031/Read less
Apache Impala
“Apache Impalaは、Apache Hadoop向けの最新の高性能分析データベースです。 MPP（Massively Parallel Processing）SQLクエリエンジンにより、データセットを特定のシステムまたは専用フォーマットに移行することなく、オンプレミス（HDFSまたはApache Kuduの場合）またはSQL、またはビジネスインテリジェンスツールを使用して、Cloudオブジェクトストレージに格納されたデータの分析クエリが可能になります “：Apache Impala リリース記事より抄訳:) 注意：このページの内容はやや古くなっているので、日付にご注意ください。また、ブログに書いている場合があります。 (photo by freepik) 2018/7/26 追記 パフォーマンスの最適化に役立つスライド Performance Optimizations in A
Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics
こんにちは。kimukimu(@kimutansk)です。 このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。 多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります。 私はそんなSQL on Hadoopの中でImpalaを今使用しているため、Impalaについて書かせていただきますね。 Impalaをデータの集計で使用しているのですが、 その際に「元々存在しているテーブルにデータをファイルで投入する」ことがあります。 ですが、ファイル投入後クエリを実行してみても投入した結果が表示されないことがありました。 かつ、Impalaのサイトを見てもどのタイミングでデータが検索可能になるか、は明確には見つからないんですよね・・
Flexible Data Architecture with Spark, Cassandra, and Impala
Flexible Data Architecture with Spark, Cassandra, and Impala September 30th, 2014 Overview An important aspect of a modern data architecture is the ability to use multiple execution frameworks over the same data. By using open data formats and storage engines, we gain the flexibility to use the right tool for the job, and position ourselves to exploit new technologies as they emerge. This article
『アドテクスキルアップゼミ カラムナーデータベース検証まとめ』
皆様こんにちは。 アドテク本部カラムーデータベースゼミチームです。 今回の記事ではゼミチームが行った検証結果について発表させていただきます。 また、この記事につきましては 11/12 に行われた db tech showcase Tokyo 2014 にて発表させて頂きました内容になります。 プレゼン資料はこちらにあがっています。 ※追記 Impala / Presto の File Format についてご指摘を頂きましたのでデータロード及びまとめの部分に追記しました。 アドテクスキルアップゼミ カラムナーデータベース検証まとめ目的 広告システムでは大量のデータをデータベースに入れて解析を行います。 小規模から中規模なデータはRDBMSで行えますが、数TBを超えると RDBMS以外の選択肢を探さないといけません。 ビッグデータ用のデータベースは比較資料が少なく、 また、あったとしても検証
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。hadoophiveImpalaElasticMapReduceEMR EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2-s3-rds-elasticache-and-elastic-mapreduce.html 値段の問題もあり、ニコニコデータセット分析環境は、hadoopのバージョン1系でm1.mediumを3台利用して、分
『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Impala 2.0 Update #impalajp
Streaming Data