Dismiss Join GitHub today GitHub is home to over 28 million developers working together to host and review code, manage projects, and build software together. Sign up
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
I have recently spent a few days getting up to speed with Flume, Cloudera‘s distributed log offering. If you haven’t seen this and deal with lots of logs, you are definitely missing out on a fantastic project. I’m not going to spend time talking about it because you can read more about it in the users guide or in the Quora Flume Topic in ways that are better than I can describe it. But I will tell
Acroquest Technology(横浜市)は2012年3月29日、数十~数百台のサーバーからログを収集し蓄積するシステムの導入支援サービス「分散ログ収集ソリューション」を開始した。 具体的には、サーバーのログを収集するツールとしてオープンソースのApache Flume、ログを蓄積するKVSとしてApache Hadoopの二つのソフトを使い、システム構築を手がける。 特徴は設定済みのFlumeとHadoopを使ってシステムを構築すること。「FlumeとHadoopを検証し設定するといった手続きを踏むと長くて1カ月程度かかってしまう。検証や設定を済ませたFlumeとHadoopを使うことで数日で導入できる」と、同社の鈴木貴典氏(テクニカル コンサルタント)は説明する。 さらに本サービスで使うFlumeはチューニングを済ませており、公開されているFlumeに比べてログ収集スピードを2
Flume のアーキテクチャは、シンプルながらも堅牢で柔軟性があります。Flume の中核をなす抽象化は、ストリーム指向の データフロー です。データフローは、1 つのデータストリームが、その生成元から最終的な宛先まで、どのように転送され、加工されるかを表すものです。データフローは、いくつかの 論理ノード から構成されており、論理ノードは、受け取ったイベントを加工したり、集約したりすることができます。これらの論理ノードがチェインのようにつながって、データフローを形成します。これらの論理ノードのつながり方のことを、論理ノードの 構成 といいます。 これらすべてを管理するのが Flume マスター です。Flume マスターは、Flume のすべての物理ノードと論理ノードに関する情報を把握している独立したサービスです。マスターは論理ノードに構成を割り当て、ユーザーが行った構成の更新をすべての論
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く