HBaseの概要とアーキテクチャ
はじめに ネットワークに接続されたセンサ機器の普及により、IoT（Internet of Things）が注目を集めています。IoTでは様々なセンサ機器が膨大なデータを生成するため、システムが管理するデータ量は急激に増加しています。このような膨大なデータを管理するためのデータストアとして、RDBと比較して高い性能とスケーラビリティを持つNoSQLが注目を集めています。 「Apache HBase」（以降、HBase）はNoSQLの1つで、センサ機器が生成する時系列データを管理するための有力なデータストアとして注目されています。本連載では、HBaseを用いたシステム設計のノウハウと、1,000万個のスマートメータから収集したデータによる性能検証の結果を紹介します。 今回は、まずNoSQLにおけるHBaseの位置付けを説明し、その後でHBaseの概要とアーキテクチャについて説明します。 NoS
CentOS 7のネットワーク管理基礎（前編）
今回は、CentOS 7のネットワーク設定について取り上げます。新しい設定ツールの登場や、従来のCentOS 6まで慣れ親しんだネットワーク関連の基本的なコマンド群の使用が非推奨になるなど、様々な変更点があります。CentOS 7から一新されたネットワークの具体的な設定手順、Tips等をご紹介します。 CentOS 7におけるネットワーク管理では、NetworkManagerによって行います。CentOS 6系では、Network Administration Toolに含まれるsystem-config-networkを使った管理やファイルを直接編集する運用形態が一般的でしたが、CentOS 7では、NetworkManagerを使った管理手法が推奨になりました。従来のNetworkManagerは、全てのネットワーク機能を制御できるわけではなかったため、/etc/sysconfig/n
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
マシン・イメージを自動構築し、作業効率を高めるPacker入門
Packerとは？ Packerはマシン・イメージの自動生成や管理をするコマンドライン・ツールです。Packerの背景や機能解説のほか、AWS（Amazon Web Services）とDigitalOceanで実際にPackerを使う方法、Atlasとの連携方法をご紹介します。 マシン・イメージ管理とPacker Packerは何を解決するのか？ クラウド（IaaS）や仮想化環境を使う上で避けて通れないのが、マシン・イメージをどのように管理するべきかという課題です。ベンダーから用意されているマシン・イメージは、OS環境がほぼ初期状態のままです。その状態から、タイムゾーンや言語設定、管理用アカウントの作成、開発環境のインストール、ミドルウェアや各種サーバのセットアップなどを済ませて、実際に使える環境を整えるのに時間がかかります。 この課題を解決するのが、ある程度準備された環境をテンプレート
[Think IT] 第1回：OSS検索エンジンLuceneとは (1/3)
「JBoss Enterprise Application Platformの全貌」では全4回にわたって、JBoss Enterprise Middleware全般について解説している。 本連載ではJBoss Enterprise Middlewareを使った具体例として「エンタープライズレベルの検索サービス」を提供するWebアプリケーションを取り上げ、試作する。なお、検索エンジンにはオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 ここで述べる「エンタープライズレベルの検索（注1）」サービスとは、企業が保有する大量のコンテンツを高速に検索するサービスのこととする。Luceneは小規模（文書数が数万件以下）から大規模（数百万件以上）のコンテンツを高速に検索することを得意としているため、「エンタープライズレベルの検索」に適して
[ThinkIT] 第2回：MyISAMとInnoDB (1/3)
今回は、MySQLのストレージエンジンの中でも特に有名な「MyISAM」と「InnoDB」の2つを取り上げます。MyISAMはMySQLのデフォルトストレージエンジンで、ストレージエンジンを指定せずにテーブルを作成するとMyISAMが選択されます。もう一方のInnoDBエンジンは、MySQLに豊富なトランザクション機能を提供するストレージエンジンとして有名です。 まずはそれぞれのテーブルファイルの構造について解説し、最後にInnoDBのトランザクションについて解説します。 各ストレージエンジンのファイル構造を説明する前に、前知識としてMySQLのディレクトリ構造について説明します。 MySQLのデータベースディレクトリには、バイナリログと呼ぶデータベースの更新情報を格納するファイルと、2つのサブディレクトリが存在します（図1）。 「mysql」ディレクトリには権限テーブルと呼ばれるMySQ
ESXiのインストール！
VMware ESXi用のハードウエアの準備 「第1回 ESXiって何だ？」では、VMware ESXiの特徴を中心に、VMware ESXiとはどのような仮想化ソフトウエアであるかを説明しました。 開発者にとって、無償で利用できるVMware ESXiは、開発環境の堅牢（けんろう）性、柔軟性、迅速性を向上させるだけでなく、低コストで仮想環境を構築できるなど、さまざまなメリットがあることを紹介しました。 では、今回は実際にVMware ESXiをインストールして利用するための方法を順番に紹介しましょう。 VMware ESXiはサーバー上に直接インストールして動作をする、いわば仮想化専用OSに位置づけられる製品です。そのため、ほかの汎用OSと同様に、VMware ESXiが動作できるハードウエアを準備することが必要です。 VMware社ではVMware ESXiが動作することが確認されてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
