Spark 2.0の性能検証の結果とボトルネックの考察
はじめに 前回は、Spark 2.0の主な変更点としてSpark 1.6よりも性能が向上し、アプリケーションの実装が容易になったことを解説しました。また、その性能検証のシナリオとして、電力消費量データを集計し可視化するケースを想定することを解説しました。今回は、シナリオに基づいた検証を行うための環境（システム構成、パラメータ）とその検証結果を解説します。 システム構成 データ分析システムの概要 データ分析システムは、図1のように管理画面とデータ分析アプリケーション、データ処理基盤の3つから成ります。設備企画担当者は管理画面を介してドリルダウン分析を行います。予めデータ分析アプリケーションで設備の負荷を集計し、その演算処理を実行するのがデータ処理基盤です。本連載で取り上げるデータ処理基盤にはHadoopおよびSparkを導入しています。 ハードウェア構成 データ処理基盤は仮想サーバ3台、物理
脆弱性検知ツール「Vuls」の開発者に聞いたOSSをバズらせる極意
バルスというツールをご存知だろうか？ 日本ではとあるアニメの崩壊の呪文として扱われることの多いこのフレーズがいま、サーバー管理者のシステム崩壊を防ぐためのツールとして注目されている。OSSの脆弱性検知ツールであるVuls（バルス）について、開発元であるフューチャーアーキテクトの神戸 康多氏と林 優二郎氏に詳しく話を聞いた。 まずはVulsについて簡単に教えてください 神戸氏：VulsはVULnerability Scannerの略で、Linux/FreeBSD向けの脆弱性スキャンツールです。OSのみならずプログラミング言語やライブラリに至るまで多くの環境に対応し、レポートや通知を行います。ソフトウェアには数多くのバグが含まれ日々脆弱性に関するレポートが報告されています。サーバー管理者は脆弱性に関する情報を随時チェックし、その脆弱性が自身が管理するサーバーにどれくらい含まれているのか影響範囲
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
