現在のログ解析基盤 - wyukawa's diary
1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。 以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos周りはだいぶ良くなって Cognos 10.2.1 + Prestogres 0.4.8 + Prestogres ODBC Driver から Cognos 10.2.2 + Prestogres 0.6.7 + protocolVersion=2だけ使用するようにpatchしたPostgreSQL JDBC Driver に変えました。 patchって言っても1行コメントしただけ。ここ。 https://github.com/pgjdbc/pgjdbc/blob/REL9_3_11
Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage
Agility Get faster insights without the overhead (data loading, schema creation and maintenance, transformations, etc.) Flexibility Analyze the multi-structured and nested data in non-relational datastores directly without transforming or restricting the data Query any non-relational datastore (well, almost...) Drill supports a variety of NoSQL databases and file systems, including HBase, MongoDB,
Azkaban 2 scheduler by Linkedin | Loftjob
Azkaban is “a batch workflow job scheduler implemented at LinkedIn to run Hadoop jobs” as stated on its website. It gives you the ability to schedule retry and monitor jobs of various type, hadoop, java, shell command and others. It’s based on two server: executor and web ui and Mysql db. Next a solo server version based on H2 memory db will be compiled, installed and used to show jobs workflow a
Hadoop on-mesos
Jul 26, 201344 likes20,644 viewsAI-enhanced description The document discusses Hadoop on Mesos, beginning with a short history of distributed computing. It describes how Mesos provides an operating system for clusters that allows applications like Hadoop to run as distributed frameworks. The document outlines challenges in running Hadoop on Mesos and how these were addressed, including using Mesos
zabbixでhadoopクラスタのJVMを監視したい - Tech-Sketch
なぜzabbix？ Hadoop監視ツールとしてはAmazon Elastic MapReduceでの利用や、NTTデータが公表した 検証資料 で採用された Ganglia の方が有名ですが、日本ではユーザ会の活動も活発なzabbix を使って監視したい！という方のためのアプローチです。zabbixに強いTISの某I氏が作成したものを引き取ってJVM監視用に拡張しました。 zabbix-server-1.8.5に含まれているzabbix-templateにはjmxを使った定義も格納されているのですが、portの特定等少々面倒なようなので、新たに定義しなおしています。 監視のためにやったこと 基本的にはawkでJVMやリソース情報を取るスクリプト書き、zabbix-agentから呼び出しています。 こんな感じです。 ps auxww で取れる情報から、指定のプロセスを実行クラス名でgre
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Hadoop, how to compress mapper output but not the reducer output
I have a map-reduce java program in which I try to only compress the mapper output but not the reducer output. I thought that this would be possible by setting the following properties in the Configuration instance as listed below. However, when I run my job, the generated output by the reducer still is compressed since the file generated is: part-r-00000.gz. Has anyone successfully just compresse
データレイクと分析 - ユースケース別クラウドソリューション | AWS
AWS は、あらゆる分析ワークロードに対応する包括的な機能セットを提供します。データ処理や SQL 分析から、ストリーミング、検索、ビジネスインテリジェンスまで、AWS はガバナンスが組み込まれた比類のない料金パフォーマンスとスケーラビリティを提供します。特定のワークロード向けに最適化された目的別サービスを選択するか、または Amazon SageMaker を利用してデータと AI ワークフローを合理化および管理します。データジャーニーを開始しようとしている場合でも、統合エクスペリエンスをお求めの場合でも、AWS は、データを利用してビジネスを革新するのに役立つ適切な分析機能をお客様に提供します。
データ解析技術入門(Hadoop編)
Apr 18, 20136 likes5,968 viewsAI-enhanced description This document summarizes Hadoop and its components. It describes HDFS, MapReduce, and YARN. It provides examples of WordCount using MapReduce in Ruby. It also discusses other Hadoop ecosystems like Pig, Hive, Sqoop, and Mahout. Finally, it compares Hadoop to RDBMS and discusses advantages of using Hadoop.
目指せHadoopエンジニア-管理者・DBエンジニア編-
Hadoopの管理者に求められるもの 前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが生じる可能性があると言うことです。 少し脚色していますが実際のトラブルの例をご紹介しましょう。 【トラブルの例】 前編で紹介したHadoopの分散ファイルシステムであるHDFS(Hadoop Distributed File System)には、分散したデータの配置情報（データがどのマシンに記録されているのかを表す管理情報：以降メタ情報と呼びます）などを管理するノード（ネームノード）と、実際に分散されたデータを管理するノード（データノード）群とがあります。前者のメタ情報は非常に重要
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました http://d.hatena.ne.jp/hamadakoichi/20111229/p1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
並列データベースシステムの概念と原理
Hadoop + Amazon EC2 - An updated tutorial
ログ解析を支えるNoSQLの技術
mrjob — mrjob v0.5.10 documentation
Slashdot: News for nerds, stuff that matters
Apache Spark™ - Unified Engine for large-scale data analytics
アクセス解析システムの裏側 （公開用）