Apache Sparkの概要調査とQuickStartやってみた - Qiita
Apache SparkがHadoopよりいけてそうなので調べて使ってみました。 Apache Sparkについて SparkとはHadoop(MapReduce)を拡張した次世代のビックデータ解析エンジン。 リッチなAPIがあるので、使うのがより簡単 より高速 対話的クエリ、ストリーミング、マシンラーニング、グラフ処理などをサポート HadoopのMapReduceの時はdisk上で計算が走っていたけれど、メモリ上で走らせることが高速化の要因の一つのようです。 コンポーネント 下記の代表的なコンポーネントがあるようです。 Spark Core Sparkの基本機能を含むコンポーネント Spark SQL Apache HiveのようにSQLを通してデータにアクセス Spark Streaming データのライブストリーミングを可能にするコンポーネント MLlib マシンラーニングのアルゴ
ELK(ElasticSearch, Logstash, Kibana)+fluentdの環境をDocker Composeで構築しつつ、試しにCloudWatchの統計データを収集してみた - Qiita
表のDockerについて。。。 Engineはいわゆる普通のDocker。Dockerの実行環境です。 MachineはローカルやAWSなどの別環境にDockerのホストマシンを構築するツール。 通常、MacやWindowsでDockerを使う場合は、このMachineを用いて、ローカルのVirtualBoxにDockerホストのVMを作って、それに対して、dockerコマンドを実行していきます。 Composeは複数のコンテナのパラメータをYAMLファイルに記述しておいて、ワンボタンで環境構築するものです。 はじめにdockerの環境を整えておく Dockerで構築しておくと何度も同じインストール作業をしなくてよくなります。 MacだとDocker Toolboxをインストールすれば、Docker Engine, Machine, Composeの準備がすべて整います。 https://
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
