Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
竹をマサカリで叩き割っていくような豪快進行の Tokyo Impala Meetup に参加してきました #impalajp - #garagekidztweetz
今年熱いトピックのひとつである MPP Query Engine （Rebuild: 52: TLDR Driven Development (Naoya Ito)でも取り上げられてたし）の一角、 Impala を実際に使っている方が一堂に会するという素晴らしい会が開かれるということで、今日は Tokyo Impala Meetup 2014.10 - connpass に参加してきました。 ちなみにわたし自身は Impala を運用はしていないのだけれども、やはりトレンドは追っておきたいというモチベーションで参加してきました。 Cloudera World Tokyo 2014 | Cloudera Japanが来週開催される前哨戦のようなとても熱い、内容の濃い会でした。というわけで来週のそのCloudera World Tokyo 2014 | Cloudera Japanも当然楽しみ
Cloudera ImpalaとCatalog Serviceの話
Impalaのメタデータ ImpalaはHiveと共通のメタストアを使用しています。従来、メタデータが変更された場合には、Impalaで”invalidate metadata/refresh”コマンドを使用して変更を認識する必要がありました。Impala 1.2.Xから管理方法が変更となり、メタデータの変更を管理するサービス、Catalog Serviceが登場しています。 Catalog Serviceはメタデータの管理を行う中央型のサービスです。Catalog Serviceはメタデータの更新を処理し、クラスタの全てのImpaladノードに対してどのメタデータの変更が行われたのかをStateStore経由で送信します。 このサービスにより、Impalaによって行われたメタデータの変更は”invalidate metadata”コマンドを実行することなく、全てのノードで自動的に認識され
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Impalaセットアップ – OpenGroove
数ヶ月前にImpalaで遊んでみようとしたときは、Cloudera Managerから入れるのは簡単だけど個別に入れるのは面倒くさそうだったのでスルーしてしまったが、先日購入したO’REILLY の「プログラミングHive」にセットアップ方法が記載されていたのでやってみた。でも書籍の方はレポジトリURLの情報が古かったり、しましたね。設定ファイルの内容も若干変わっている様子。 環境はAWSのLargeインスタンス、CDH4.3のHadoop疑似分散モード。いつもはSmallマシンをケチケチいじっているのだが、Impalaはリソースをかなり喰うと聞いているので、Smallじゃ無理だろう、と。もともと使っているHadoop疑似分散モードのマシンからAMIを取得して、Largeで起動。HBase, Hiveのセットアップも済んでいるから、楽チン（ImpalaはHiveと共通のメタストアを使用する
GedowFatherさんがImpalaを本番投入した件
外道父 | Noko @GedowFather Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測 2012-11-16 11:25:12 外道父 | Noko @GedowFather Impala検証利用データ：17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s 2012-11-16 11:28:33
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
