タグ

sparkに関するnakaearthのブックマーク (5)

  • Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ

    はじめに こんにちは、データ分析部の森です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ

    Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
  • Kafka、Spark、Elasticsearchのパラメータチューニング

    はじめに 第2回では、Spark Streamingを中心としたリアルタイムなセンサデータ処理システムの構築方法と、性能検証の進め方、および初期設定における性能測定結果を解説しました。 今回はシステムを構成するメッセージキュー「Kafka」、ストリームデータ処理エンジン「Spark Streaming」、検索エンジン「Elasticsearch」のチューニング方法と、チューニング後の性能測定結果について解説します。 前回のおさらい:初期設定における測定結果 初期設定で測定した結果、Kafkaの格納性能は8,026メッセージ/秒、Sparkの処理性能は19,346メッセージ/秒となりました。Kafkaがボトルネックとなり、システム全体のリアルタイム処理は8,026メッセージ/秒となります(図1)。この結果から、初期設定では第2回で解説した目標性能である10,000メッセージ/秒の処理性能を満

    Kafka、Spark、Elasticsearchのパラメータチューニング
  • BitBarとsparkコマンドで日ごとのエラー数をメニューバーに表示する - hitode909の日記

    ふだん開発してるアプリケーションのエラーの様子を見る仕組みを作って,ふだん便利に暮らせているので紹介します. BitBarについて BitBarはメニューバーにいろいろ出せるやつで,コマンドラインの標準出力をそのままメニューバーに表示できる. getbitbar.com プラグインを置くディレクトリが用意されていて,シェルスクリプトを置いていく.calコマンドを呼ぶだけのスクリプトを配置するとこんな感じで,そのままカレンダーが出る. sparkコマンドについて sparkコマンドはコマンドラインでスパークラインを表示するもので,標準入力で数字の列を渡すと,数字の列をグラフにして表示してくれる. 数字を正規化してから渡す必要はなくて,なんでもいいから数字を渡すとその形を教えてくれる. % echo '1 2 3 4 5 6 7 8 9 10' | spark ▁▁▂▃▄▄▅▆▇█ % ech

    BitBarとsparkコマンドで日ごとのエラー数をメニューバーに表示する - hitode909の日記
  • http://blog.yoslab.com/entry/2014/11/20/201615

    http://blog.yoslab.com/entry/2014/11/20/201615
  • 株式会社ALBERT(レコメンドエンジン)

    データ分析から導き出されたインサイト無しにAI人工知能)の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上(52%)は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

    株式会社ALBERT(レコメンドエンジン)
  • 1