Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
Kafka、Spark、Elasticsearchのパラメータチューニング
はじめに 第2回では、Spark Streamingを中心としたリアルタイムなセンサデータ処理システムの構築方法と、性能検証の進め方、および初期設定における性能測定結果を解説しました。 今回はシステムを構成するメッセージキュー「Kafka」、ストリームデータ処理エンジン「Spark Streaming」、検索エンジン「Elasticsearch」のチューニング方法と、チューニング後の性能測定結果について解説します。 前回のおさらい：初期設定における測定結果 初期設定で測定した結果、Kafkaの格納性能は8,026メッセージ/秒、Sparkの処理性能は19,346メッセージ/秒となりました。Kafkaがボトルネックとなり、システム全体のリアルタイム処理は8,026メッセージ/秒となります（図1）。この結果から、初期設定では第2回で解説した目標性能である10,000メッセージ/秒の処理性能を満
BitBarとsparkコマンドで日ごとのエラー数をメニューバーに表示する - hitode909の日記
ふだん開発してるアプリケーションのエラーの様子を見る仕組みを作って，ふだん便利に暮らせているので紹介します． BitBarについて BitBarはメニューバーにいろいろ出せるやつで，コマンドラインの標準出力をそのままメニューバーに表示できる． getbitbar.com プラグインを置くディレクトリが用意されていて，シェルスクリプトを置いていく．calコマンドを呼ぶだけのスクリプトを配置するとこんな感じで，そのままカレンダーが出る． sparkコマンドについて sparkコマンドはコマンドラインでスパークラインを表示するもので，標準入力で数字の列を渡すと，数字の列をグラフにして表示してくれる． 数字を正規化してから渡す必要はなくて，なんでもいいから数字を渡すとその形を教えてくれる． % echo '1 2 3 4 5 6 7 8 9 10' | spark ▁▁▂▃▄▄▅▆▇█ % ech
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.yoslab.com/entry/2014/11/20/201615
