Docker上でCentOSを動かす - Qiita
CoreOSのDocker上でCentOSを動かしてみる。 CoreOS環境の準備についてはこちら。 環境について Docker: 1.0.0 CoreOS: 353.0.0 なお、CoreOSのバージョンは/etc/os-releaseに記載してある。 core@core-01 ~ $ cat /etc/os-release NAME=CoreOS ID=coreos VERSION=353.0.0 VERSION_ID=353.0.0 BUILD_ID= PRETTY_NAME="CoreOS 353.0.0" ANSI_COLOR="1;32" HOME_URL="https://coreos.com/" BUG_REPORT_URL="https://github.com/coreos/bugs/issues"
Apache Mesos で Apache Spark を動かす - Qiita
ほとんど作業ログかつ自分用 (あとでもう少しまともな記事になるように編集するかも) です. あと, Qiita 初投稿です 環境 今回は ConoHa を 2 台使って Mesos クラスタを構築し, その上で Spark を動作させる. スペックや OS などは以下の通り. Master: ConoHa RAM 1GB プラン, CentOS 7.2 Slave: ConoHa RAM 2GB プラン, CentOS 7.2 使用した Mesos と Spark のバージョンは以下の通り. どちらも執筆時点 (2016/12/7) の最新バージョンのはず. Apache Mesos: v1.1.0 Apache Spark: v2.0.2 Mesos のインストール 公式ドキュメントを参考に作業を進める. Master と Slave 両方で作業をしてください. $ sudo yum i
クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。 | 三度の飯とエレクトロン
Apache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！ Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処理のためのライブラリなので、複数ホストで試さなければ本当の性能は得られません。 そこで、ここからはSparkのクラスタを構築していきたいと思います。 Apache Mesosは汎用のクラスタマネージャー 分散処理クラスタを構築する方法として、SparkのドキュメントにApache Mesosを使う方法が書かれています。 Apache Mesos Mesosは汎用のクラスタマネージャーです。具体的に何をしてくれるかというと、クラスタを管理して、ホストごとのリソースの余裕を見て、タスクを振り分けたりしてくれます。 もうひとつ、YARNという選択肢があります。
Running Spark on Mesos - Spark 3.5.1 Documentation
Running Spark on Mesos Security How it Works Installing Mesos From Source Third-Party Packages Verification Connecting Spark to Mesos Authenticating to Mesos Credential Specification Preference Order Deploy to a Mesos running on Secure Sockets Uploading Spark Package Using a Mesos Master URL Client Mode Cluster mode Mesos Run Modes Coarse-Grained Fine-Grained (deprecated) Mesos Docker Support Runn
zookeeper とは - Qiita
年末年始、まとまった時間が取れるので、zookeeper お勉強を進めようと思う 勉強したことをここにメモしておく 間違っていたら指摘してほしい まずはここから http://zookeeper.apache.org/doc/trunk/zookeeperOver.html Zookeeper とは 分散アプリケーション向けの高パフォーマンスな協調サービスである. なんのこっちゃ. もう少し噛み砕くと,,, Zookeeper は分散アプリケーションを構築する上で必要となる, 同期, 設定管理, グルーピング, 名前管理, などの機能を提供するサービスである. 分散アプリケーションを作成する上では, 上記で述べた, 同期, 設定管理, ... 等の機能は必須となる. 上記で述べた機能を実装することは難しい...というか真面目に作ろうとすれば死ぬほど面倒くさい. Zookeeper は, こ
SparkInternalsで知る、Sparkの内部構造概要（cache and checkpoint） - Qiita
はじめに こんにちは。 前回に引き続き、SparkInternalsを訳していきます。 前回と同じく以後は下記の判例となります。 SparkInternals訳文 コメント cache（またはpersist）はHadoop MapReduceには存在しない、Spark固有の重要な要素となる。この機能によって、SparkはDataの再利用が可能になり、インタラクティブな機械学習アルゴリズム、インタラクティブなデータ解析といったユースケースにおいて大きく高速化に貢献している。Hadoop MapReduceのジョブと異なり、SparkのLogicalPlan/PhysicalPlanは巨大化し、処理の連鎖も大きく、RDDに対する計算時間も長くなる。もし、不幸にもエラーや例外がTask実行中に発生した場合、処理の連鎖の全体を再実行する必要が出た場合、計算ロスのコストはかなり大きいものとなる。従っ
AWSのS3で異例の大規模障害、多数のウェブサイトに影響--数時間後に復旧
Amazon Web Services（AWS）の中でもとりわけ人気の高いサービスで障害が発生した。 大小さまざまな企業にオンデマンドでクラウドストレージを提供しているAWSの「Amazon S3」サービスでは、米太平洋時間2月28日午前11時45分ごろから、US-EAST-1（米国東部：バージニア北部）リージョンで「エラーレートの上昇」が始まった。 この問題は午後2時8分までに解消し、AWSはS3サービスが「通常通り動いている」と報告した。 この障害により、特定のS3サーバに依存するウェブサイトは、AWSを利用して保存した情報の一部またはすべてにアクセスできなくなったり、少数のサイトでロードに時間がかかったり、まったくロードできなくなったりする場合があった。「Quara」「Imgur」「IFTTT」「Giphy」「Slack」などのサイトも、この障害の影響を受けた。 Forresterで
AWS Batch とは何か - Qiita
AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジョブの依存定義 が可能なマネージド 並列分散 処理基盤。 主な機能、ポイント クラスタ管理、ジョブキュー、ジョブスケジューラを AWS にお任せできる 処理すべきジョブの数に応じ、適切に 自動伸縮1 するクラスタ ジョブに 依存関係 が定義できる（B は A
TechCrunch
Reliance is nearing a deal to acquire Disney’s India business, according to a report, as Mukesh Ambani’s oil-to-telecom empire eyes broadening digital and television assets. Disney values Dating app users will often sit with friends as they swipe through their matches in order to gain feedback, or even hand over their phone and let their friends swipe for them. Now, that real-life expe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Overview
In-Memory Data Grid - Apache Ignite
Distributed Database - Apache Ignite®