Impala 落ち穂拾い - Qiita
この投稿はDistributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の22日目です。 昨日はkiszkさんのSparkの記事でした。 この記事の概要 Impalaを使い込んでいる人向けの、役に立つ小ネタ集という位置づけ。 Impala入門ではないので、Impala 入門のような情報は下記のようなページを参照すること。 SQL-on-Apache Hadoop – ジョブの特性に適したツールの選択 http://www.cloudera.co.jp/blog/sql-on-apache-hadoop-choosing-the-right-tool-for-the-right-job.html Apache Impala（Incubating）を使ったAmazon S3 上でのアナリティクスとBIの実現 http
Impalaを使ってみました | Hadoop Advent Calendar 2016 #11 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 11日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHiveで機械学習をおこなうライブラリであるHivemallについて紹介しました。 今回はImpalaについて書かせていただきます。 とはいえ、実は私自身もImpalaは今回が初めてとなります。そのため今回は使ってみたという内容になります。 Impalaとは ImpalaはSQL on Hadoop(SQLでHadoop上のデータアクセスするためのもの)の一種で、HiveQLで処理を記述します。 ImpalaはHiveと比較されることが多いですが、その違いを簡単にまとめてみます。 Hiveは
Impalaのパフォーマンスガイドラインとベストプラクティス(翻訳) - Qiita
Clouderaのドキュメントに書かれているImpala Performance Guidelines and Best Practices が非常に素晴らしい内容なので翻訳した。 内容は Apache Impala (incubating) (以下 Impala) をターゲットとして記述しているが、パーティション設計などについては Hive にそのまま適用できる内容なので、Impala を使用していない人でも読んで損はないと思う。 環境 CDH 5.7.0 (Impala 2.5.0) 本文 このドキュメントは、Impalaを利用するCDHクラスタのための、計画、実験、パフォーマンスチューニング時に利用可能なパフォーマンスガイドラインとベストプラクティスです。この情報は全て、Impala ドキュメンテーションの他のページでより詳細に記載されているものです。これらの情報はクックブックとして
第17回 Impalaの設計と実装［1］ | gihyo.jp
はじめに 今回から3回に渡って、Hadoop上で動作するデータ処理ソフトウェアの1つであるApache Impala（incubating)（以下、Impala）について、以下の流れで説明していきます。 Impala概要（今回） クエリ実行時の並列化の仕組み（第18回） I/O処理における高速化の仕組み（第19回） Impalaの特徴のすべてをお伝えできるわけではありませんが、Impalaの速度に対する取り組みについて参考になれば幸いです。 今回は、Impalaが開発されるに至った背景や特徴、および動作の概要までを紹介していきます。 Impala開発の背景 これまでの連載内でも触れられてきましたが、ImpalaはHadoop上でSQL（正確にはHive Query Language／HiveQL）を高速に処理するために開発された並列データ処理系です。Impala以前から、SQLを実行するH
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
フリーのビッグデータ分析学習環境を使って、構造化データと非構造化データの分析を試してみる
Apache Hiveは、SQLに似た言語（HiveQL）を使用して、データの抽出や変換などを行うことができます。しかし、Hiveは処理にMapReduceを使用しており、大規模データのバッチでの処理や、チュートリアル3（後述）のような柔軟な処理には適していますが、一般的に処理に時間がかるため、繰り返し分析を行うような用途に利用するのは難しいでしょう。 Cloudera Impalaは、大規模データのための高速なSQLエンジンです。残念ながらこのチュートリアルではその本来の力を発揮することができませんが、数十TBもの大量データに対するクエリでも、今回と同じ操作で同じように分析を行うことができることは覚えておいてください。 Impalaについての詳細は、以下のスライドを参考にしてください。 「Impala概要 道玄坂LT祭り 20150312」 「Evolution of Impala」 「
Impala概要 道玄坂LT祭り 20150312 #dogenzakalt
2. 2© Cloudera, Inc. All rights reserved. ⾃自⼰己紹介 • セールスエンジニア • 2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社 • お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの仕 事 • 実際は技術に関係する業務は全部⾏行行っている • email: sho@cloudera.com • twitter: @shiumachi 3. 3© Cloudera, Inc. All rights reserved. Hadoop⽤用分析エンジンの要件 複数のユーザによる同時利利⽤用時の性能 思考と同等の速度度で共同作業する 互換性 BIツールやSQLなどの使い慣れたインタフェースが使 えること ユーザビリティ 様々なアプリケーションから連携可能 柔軟性 全てのデータに対し他のHado
Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics
こんにちは。kimukimu(@kimutansk)です。 このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。 多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります。 私はそんなSQL on Hadoopの中でImpalaを今使用しているため、Impalaについて書かせていただきますね。 Impalaをデータの集計で使用しているのですが、 その際に「元々存在しているテーブルにデータをファイルで投入する」ことがあります。 ですが、ファイル投入後クエリを実行してみても投入した結果が表示されないことがありました。 かつ、Impalaのサイトを見てもどのタイミングでデータが検索可能になるか、は明確には見つからないんですよね・・
The Impala Cookbook
1. 1© Cloudera, Inc. All rights reserved. The Impala Cookbook From Cloudera’s Impala Team Updated Jan. 2017 *Currently an Apache Incubator project 2. 2© Cloudera, Inc. All rights reserved. Topic Outline • Part 1 – The Basics • Physical and Schema Design • Memory Usage in Impala • Part 2 – The Practical Issues • Cluster Sizing and Hardware Recommendations • Benchmarking Impala • Multi-tenancy Best
Flexible Data Architecture with Spark, Cassandra, and Impala
Flexible Data Architecture with Spark, Cassandra, and Impala September 30th, 2014 Overview An important aspect of a modern data architecture is the ability to use multiple execution frameworks over the same data. By using open data formats and storage engines, we gain the flexibility to use the right tool for the job, and position ourselves to exploit new technologies as they emerge. This article
Cloudera Impalaをサービスに組み込むときに苦労した話
1. Cloudera Impalaをサービスに 組み込む時に苦労した話 2014年年10⽉月31⽇日 株式会社セラン RD戦略略室 須⽥田幸憲 @sudabon Copyright © CELL▲NT Corp. All right Reserved. h t t p : / / w w w . x d a t a . j p / 2. ⾃自⼰己紹介 須⽥田幸憲（@sudabon) 株式会社セラン RD戦略略室 室⻑⾧長 経歴 l 1997〜～2004 NEC 中央研究所 / ネットワークの研究 l 2005〜～2006 BIGLOBE / BtoBサービスの開発 SNIP l 2012/8〜～ 現職 Hadoop歴：約2年年半 好きなHadoopエコシステム：Hive 2 Copyright © CELL▲NT Corp. All right Reserved. h t t p
竹をマサカリで叩き割っていくような豪快進行の Tokyo Impala Meetup に参加してきました #impalajp - #garagekidztweetz
今年熱いトピックのひとつである MPP Query Engine （Rebuild: 52: TLDR Driven Development (Naoya Ito)でも取り上げられてたし）の一角、 Impala を実際に使っている方が一堂に会するという素晴らしい会が開かれるということで、今日は Tokyo Impala Meetup 2014.10 - connpass に参加してきました。 ちなみにわたし自身は Impala を運用はしていないのだけれども、やはりトレンドは追っておきたいというモチベーションで参加してきました。 Cloudera World Tokyo 2014 | Cloudera Japanが来週開催される前哨戦のようなとても熱い、内容の濃い会でした。というわけで来週のそのCloudera World Tokyo 2014 | Cloudera Japanも当然楽しみ
Userdiveによるimpala導入へのミチ
2. お前だれよ • 株式会社UNCOVER TRUTH 立ち上げメンバー • 中島邦弘(@kuni_nakaji) • ８年間某SIerで基幹システムを構築 • 官公庁(国土交通省）/ 某クーポンECサイト • 京王ハイウェイバス / 某海上保険 • 大手ECのメインフレームからの移行 • etc.. • Australiaへ1年半ほど留学 • 某ポイントサイトのベンチャー企業で • インフラ運用 / 開発 / 内部監査 • 海外にてチームビルディング • UNCOVER TRUTHにてUSERDIVEを開発 2 3. アジェンダ • USERDIVEとは • USERDIVEのデータ量の推移 • impalaを使用するまでの軌跡 • 大量データを扱う場合の所感 • 今後解決していきたいこと • まとめ 3 5. これまでのWeb/Smartphone解析 従来から様々なアプローチでサイ
Hadoop Conference Japan 2014 #hcj2014 でImpalaがPrestoより19倍速いという話をしてきた - 科学と非科学の迷宮
Evolution of Impala #hcj2014 from Cloudera Japan タイトルとスライドの通りです。 Hadoop Conference Japan を運営された皆様、本当にお疲れさまでした。 また、私のセッションに参加して話を聞いていただいた皆様、ありがとうございました。 朝のキーノートで「使用しているコンポーネント」で Impala がランクインしていて実は結構驚きました。まだまだ普及していないと思っていましたけど、意外と使われているようでうれしいです。 (後 Hue がランクインしているのにも驚いた) 今回は他のSQLエンジンのセッションの間に挟まれての講演だったので、これは気を抜けないなと思い、結構頑張ってスライドを作りました。 やっぱり調べてみると Impala はとても面白くて、機能の細かい部分などを見て新たな発見もたくさんすることができました。 I
Cloudera Blog
We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post
Amazon Elastic MapReduceでニコニコデータセットを使ってHiveとImpalaの速度を比較する。 - Qiita
EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2-s3-rds-elasticache-and-elastic-mapreduce.html 値段の問題もあり、ニコニコデータセット分析環境は、hadoopのバージョン1系でm1.mediumを3台利用して、分析を行っていた。しかし、Elastic Map Reduceがhadoop2系からimpalaをサポートしたこともあり、hadoopのバージョンを上げて、impalaで分析出来ないか検証する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoからCloudera Impalaに繋いでみた｜NEWS｜株式会社INDETAIL（インディテール）
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Evolution of Impala #hcj2014
Cloudera | ハイブリッドデータカンパニー
