現在のログ解析基盤 - wyukawa's diary
1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。 以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos周りはだいぶ良くなって Cognos 10.2.1 + Prestogres 0.4.8 + Prestogres ODBC Driver から Cognos 10.2.2 + Prestogres 0.6.7 + protocolVersion=2だけ使用するようにpatchしたPostgreSQL JDBC Driver に変えました。 patchって言っても1行コメントしただけ。ここ。 https://github.com/pgjdbc/pgjdbc/blob/REL9_3_11
Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage
Agility Get faster insights without the overhead (data loading, schema creation and maintenance, transformations, etc.) Flexibility Analyze the multi-structured and nested data in non-relational datastores directly without transforming or restricting the data Query any non-relational datastore (well, almost...) Drill supports a variety of NoSQL databases and file systems, including HBase, MongoDB,
Azkaban 2 scheduler by Linkedin | Loftjob
Azkaban is “a batch workflow job scheduler implemented at LinkedIn to run Hadoop jobs” as stated on its website. It gives you the ability to schedule retry and monitor jobs of various type, hadoop, java, shell command and others. It’s based on two server: executor and web ui and Mysql db. Next a solo server version based on H2 memory db will be compiled, installed and used to show jobs workflow a
zabbixでhadoopクラスタのJVMを監視したい - Tech-Sketch
なぜzabbix？ Hadoop監視ツールとしてはAmazon Elastic MapReduceでの利用や、NTTデータが公表した 検証資料 で採用された Ganglia の方が有名ですが、日本ではユーザ会の活動も活発なzabbix を使って監視したい！という方のためのアプローチです。zabbixに強いTISの某I氏が作成したものを引き取ってJVM監視用に拡張しました。 zabbix-server-1.8.5に含まれているzabbix-templateにはjmxを使った定義も格納されているのですが、portの特定等少々面倒なようなので、新たに定義しなおしています。 監視のためにやったこと 基本的にはawkでJVMやリソース情報を取るスクリプト書き、zabbix-agentから呼び出しています。 こんな感じです。 ps auxww で取れる情報から、指定のプロセスを実行クラス名でgre
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Hadoop, how to compress mapper output but not the reducer output
I have a map-reduce java program in which I try to only compress the mapper output but not the reducer output. I thought that this would be possible by setting the following properties in the Configuration instance as listed below. However, when I run my job, the generated output by the reducer still is compressed since the file generated is: part-r-00000.gz. Has anyone successfully just compresse
データレイクと分析 - ユースケース別クラウドソリューション | AWS
AWS は、あらゆるデータ分析のニーズに適合する包括的な分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。ストレージと管理、データガバナンス、アクション、エクスペリエンスなど、AWS は最高のコストパフォーマンス、スケーラビリティ、最低コストを実現する目的に合わせたサービスを提供します。 データベース、ログストリーム、アプリケーション、マーケットプレイス、データレイク、ウェアハウスのどこにあっても、AWS、オンプレミス、その他のクラウドのすべてのデータにスムーズかつほぼリアルタイムでアクセスできます。AWS では、データベース、ストリームとログ、データウェアハウスまたはデータレイク、アプリケーション、データマーケットプレイスなど、データを管理するための最も包括的なサービスセットを提供しています。 コンプライアンス義務を果たすために、信頼で
データ解析技術入門(Hadoop編)
Hadoop World 2011: The Powerful Marriage of R and Hadoop - David Champagne, R...
目指せHadoopエンジニア-管理者・DBエンジニア編-
前編の「開発者編」では、Apache Hadoop（以降Hadoop）の歴史と概要に加え、開発者に必要な知識を客観的に証明できる認定資格、CCDH(Cloudera Certified Developer for Apache Hadoop)を紹介しました。後編では、Hadoopの管理者に求められる知識に加え、Hadoopの管理者向け認定資格、また最近のHadoop関連の話題とカラム指向分散データベースであるApache HBaseの紹介、およびHBaseの認定資格を紹介します。 Hadoopの管理者に求められるもの 前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました http://d.hatena.ne.jp/hamadakoichi/20111229/p1Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
並列データベースシステムの概念と原理
Hadoop on-mesos
Hadoop + Amazon EC2 - An updated tutorial
ログ解析を支えるNoSQLの技術
mrjob — mrjob v0.5.10 documentation
Slashdot: News for nerds, stuff that matters
Apache Spark™ - Unified Engine for large-scale data analytics
アクセス解析システムの裏側 （公開用）