Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
Docker向けの軽量Linux OS 主要3種を比較する
Dockerをより効率的に利用するための技術 通常Dockerを利用する場合は、Linux OSが稼働するサーバ上にDockerのパッケージを追加でインストールすることで、環境を構築している。当然ではあるが、Linux OSのインストール時に「最小限の構成」を選んだとしても、Dockerの稼働には必要のないパッケージもインストールされている状態となる。 本来Dockerを利用する最大のメリットは、「少ないリソースでたくさんのコンテナ（＝実行環境）を起動させられる」ことである。たとえ最小限の構成であってもDocker実行環境としては、多くのリソースが無駄に消費されていることとなる。さらに不要なサービスが実行されていることにより、Dockerで利用しない機能に対してもセキュリティー上のリスクが残ってしまうことになり、不要な運用作業が発生することとなる。 そのため、Dockerに対してもハイパー
現場視点からの運用方法論
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
複数サーバー間でSSH鍵を交換する
VPSサービスを複数台構成で使う 近年、共用レンタルサーバーが影を潜め、VPS（Virtual Private Server:仮想専用サーバー）が盛況になってきました。 共用レンタルサーバーでは1つのOSインストールイメージ下に大勢のユーザー（数人～数百人）が一般ユーザーアカウントとして割り当てられます。共用レンタルサーバーではroot権限がもらえないため、ホームページ公開等限られた用途でしか使えませんでした。それに対してVPSでは契約ごとに異なったOSインストールイメージが割り当てられ、それぞれにrootアカウントが付与されます。VPSではroot権限がもらえるため、専用サーバーの感覚でいろいろな用途での利用が可能となります。 一度VPSサービスを利用してしまうと、共用レンタルサーバーで感じていた様々な制約や制限から解放され、二度と共用レンタルサーバーに戻れないと感じることでしょう。最近
「Nagios」「Hobbit」「ZABBIX」「Hinemos」を徹底比較 | Think IT（シンクイット）
コストメリットを確保するオープンソース／フリーソフトウェア 近年、IAサーバの価格が非常に安価になり、LinuxやWindowsを用いたシステムが普及しています。IAサーバを採用したシステムでは、ス ケールアウトを行うように設計することでハードウェアのコストメリットが生まれます。しかし管理するサーバ台数が増加してしまうため、管理コストはそれに 反して増加する傾向があります。 システム全体を効率よく管理するためには、まずサーバのハードウェアリソースやネットワーク、OS、アプリケーションなどの状態を適切に把握できる ことが重要になります。そのため、常にシステムの稼働状況のデータを収集・監視する「監視システム」が必要とされています。 大規模システムではシステムを監視するために、大手ソフトウェアベンダーが販売する統合管理ツールを用いたり、データセンターが提供する監視サービ スを利用することが一般的
ソフトウエアエンジニアがUX/UIを考える上で読むべき4冊の良書と名言たち
筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 非数値アルゴリズム研究室(NPAL) 五十嵐 悠紀 2004年度下期、2005年度下期とIPA未踏ソフトに採択された、『天才プログラマー/スーパークリエータ』。筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 非数値アルゴリズム研究室（NPAL）に在籍し、CG／UIの研究・開発に従事する。プライベートでは二児の母でもある 何か製品を考える時、そのものがカタチのあるものであっても、はたまたコンピュータの中で動くソフトウエアだったとしても、「ユーザーインターフェース（以下、UI）」について考える必要があります。さらには、わたしたちが日常生活においてストレスなく過ごせている裏側には、さまざまな人によって考えられてきたUIデザインが隠されていたりもします。 わたしは滞在先のホテルで、洗面所に入ったものの出ようとした時に
Webアプリケーション・セキュリティ
はじめに 企業情報システムの多くは、（1）Webアプリケーション・サーバー（画面や業務ロジックを担当する）と（2）データベース・サーバー（データを格納する）で構築されています。これらのサーバー・ソフトに対する不正アクセスや操作ミスを防ぐことが、企業のデータを守るうえで重要です。 本連載では、2回にわたり、Webアプリケーション・サーバーのセキュリティ（第1回）と、データベース・サーバーのセキュリティ（第2回）を解説します。 Webサイトにおける脆弱性の現状 Webアプリケーション・サーバーのセキュリティ対策を考える前提として、 脆弱性の現状 脅威（攻撃）の現状 を知っておく必要があります。脆弱性と脅威の両方が揃うと、企業のデータは安全ではなくなります。 まずは、脆弱性の現状から説明します。 IPA（独立行政法人情報処理推進機構）のセキュリティセンターでは、経済産業省の告示に基づき、ソフトウ
[Think IT] 第1回：JSONってなにもの？ (1/3)
JSONとは何か? JSONとはJavaScript Object Notationの略で、XMLなどと同様のテキストベースのデータフォーマットです。 その名前の由来の通りJSONはJavaScriptのオブジェクト表記構文のサブセットとなっており、XMLと比べると簡潔に構造化されたデータを記述することができるため、記述が容易で人間が理解しやすいデータフォーマットと言えます。 なお、JSONは2006年に「RFC 4627（http://www.rfc-editor.org/rfc/rfc4627.txt）」として公開されています。 例としてXMLとJSONで同じデータを記述したものをリスト1とリスト2に示します（図1）。 リスト1のXMLではすべての情報をタグで囲んだテキストノードとして記述していますが、XMLでデータを表現する場合、データの記述方法として属性とテキストノードの使い分けが
[ThinkIT] 第1回：Railsが注目されている理由 (1/3)
RailsはDevid Heinemeier Hansson氏（以下、Hansson氏）が中心となって作成を続けているRuby製のオープンソースWebアプリケーションフレームワークです。まずはその概要について少し探ってみましょう。 Railsは、2003年の夏にHansson氏が作成を開始して、2004年にはじめて一般に公開されました。 それまでは「すぐに作れるけどゴチャゴチャしがちなPHPと、きれいだけど作るのに時間がかかるJavaを使ってソフトウェア開発をしていた」とHansson氏は語っています。そこで両者のいいとこどりをした「早くてきれいな」フレームワークを目指して開発をはじめ、現実のものにした結果がRailsなのです。
[Think IT] 【これならわかる！JavaScript/Ajax】やりなおしのJavaScript 第1回：そろそろ本気で学びませんか？ (1/3)
画面の一部を瞬時に切り替える方法 JavaScriptを勉強したいけど、プログラム構造がよく分からなくて、なんとなく使っている人は多いのではないかと思います。市販の本やWebサイトにはJavaScriptのサンプルがたくさん載っているので、必要なところをコピー＆ペーストしてしまうと、JavaScriptの文法が分からなくても動いてしまいます。 しかし、このような使い方をしていると、JavaScriptサンプルを少しだけ修正したいという時に対応できなくなります。これでは「JavaScriptを使える」とは言えませんよね。 そこで、本連載では、JavaScriptをもう一度やり直したい方々のために、勉強の切り口を変えて紹介していきましょう。 最初のトピックでは、JavaScriptを使ってHTMLのコンテンツを入れ替える方法について紹介してます。この技術は、最近話題になっているAjaxのベース
4種の統合監視ツールの情報収集機能を比較！
本連載においても、上記の5つの機能に関して比較を行っていきます。今回は1つ目の機能である「情報収集機能」について比較を行ないます。 情報収集機能の比較 情報収集機能については、監視対象の状態を収集する機能に加え、情報収集の設定や収集したデータの保存形式を対象として比較を行ないました。各比較項目の説明を以下に示します。 情報収集機能 リソース監視：専用エージェントを用いたCPU／メモリ／ディスク／ネットワークなどの内部リソース監視が可能かどうか ネットワーク監視：ping監視、ポート監視などのネットワーク越しの状態監視が可能かどうか SNMP監視：SNMPを利用したポーリング／トラップ監視を行なえるかどうか 情報収集設定 設定方法：情報収集の設定変更を行なう方法／ツール 保存形式：情報収集の設定が保存される形式 設定変更後の再起動：情報収集の設定を行なった後にサービスを再起動する必要があるか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
注目すべきDockerの周辺技術 PanamaxとKubernetes
[ThinkIT] 第5回：カーネルをチューニングする (1/4)