![ポケモンGO、爆発力生んだ日米協業の舞台裏](https://cdn-ak-scissors.b.st-hatena.com/image/square/716e35442398a0e5dd193b82ddc3641a4425b8e0/height=288;version=1;width=512/https%3A%2F%2Fbusiness.nikkei.com%2Fatcl%2Freport%2F16%2F081700063%2F081700002%2Ffb.jpg)
はじめに 第2回では、Spark Streamingを中心としたリアルタイムなセンサデータ処理システムの構築方法と、性能検証の進め方、および初期設定における性能測定結果を解説しました。 今回はシステムを構成するメッセージキュー「Kafka」、ストリームデータ処理エンジン「Spark Streaming」、検索エンジン「Elasticsearch」のチューニング方法と、チューニング後の性能測定結果について解説します。 前回のおさらい:初期設定における測定結果 初期設定で測定した結果、Kafkaの格納性能は8,026メッセージ/秒、Sparkの処理性能は19,346メッセージ/秒となりました。Kafkaがボトルネックとなり、システム全体のリアルタイム処理は8,026メッセージ/秒となります(図1)。この結果から、初期設定では第2回で解説した目標性能である10,000メッセージ/秒の処理性能を満
TL;DR Alpine LinuxなDockerイメージにServerspecを実行する環境をMacとCircleCI上に作った CircleCI環境では lxc-attach コマンドが必要なので、spec_helper.rb で環境差を吸収するようにした 今後よく利用しそうなので、流用しやすい形でGithubに置いておいた glidenote/docker-alpine-serverspec-sample 前提 最近Kaizen Platform, Inc.で利用している一部Docker ImageをAmazon LinuxベースのものからAlpine Linuxベースのものに置き換え中。 Alpine Linuxについては@stormcat24さんのブログが一番参考になります。 今までDockerイメージにServerspecを実行するときには、コンテナ内でsshdを立てて、ssh
EngineeringContext aware MySQL pools via HAProxyAt GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth… At GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth aga
こんにちは、家から捕まえられるポケモンだけを捕まえて僕のポケモンGoは終了しました。@wata727です。 弊社ではインフラ自動化の一環として、AMIの作成にPackerを利用しています。PackerはAMIを作るまでは自動化してくれるものの、作成されたAMIは残り続け、使わなくなった古いAMIは手動で削除しなくてはいけません。 この点に関して、公式*1では、 Packer only builds images. It does not attempt to manage them in any way. After they’re built, it is up to you to launch or destroy them as you see fit. If you want to store and namespace images for easy reference, you
本稿は Docker Built-In Orchestration Ready For Production: Docker 1.12 Goes GA(2016/7/28) の和訳記事です。 Docker1.12製品版が完成したことは、我々の大きなマイルストーンであり、これを実現するために多大なご協力をいただいたコミュニティの皆さまに感謝申し上げます。Docker1.12のリリースは、Dockerプロジェクト全体でみても最も多くの機能、最も洗練された機能を盛り込んだものになります。バージョン1.12のオーケストレーションのすべてにおいて、コア・アルゴリズム、Docker エンジンへの統合、ドキュメンテーション、テストに至るまで、Docker社内外の多数の技術者の方々が素晴らしい貢献をしてくれました。 コミュニティの皆さまにはフィードバック、バグ報告、新しいアイデアのご提案などでサポートいた
アンケートご協力のお願い 「サイバーセキュリティ経営ガイドライン」活用実態に関するアンケートにご協力ください。6問程度の簡単なアンケートです。最後までお答えいただいた方の中から抽選で5人の方に、Amazonギフト券3000円分をプレゼントいたします(記事下部にもアンケートページへのリンクあり)。 アンケートへの回答は締め切りました(2016年8月29日)。 連載目次 DDoS攻撃の技術的な背景などを振り返りながら、有効なDDoS攻撃対策について考える本連載。第1回、第2回、第3回では、DDoS攻撃の素性や、インターネットの構造上対策が困難であること、単一企業での対策方法が極めて限られていることなどについて説明した。 第5回となる今回は、前回解説したCDN(コンテンツデリバリーネットワーク)を用いたDDoS攻撃対策に続いて、もう1つのクラウドベースのDDoS攻撃対策である「スクラビングセンタ
Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール Googleは、Google Cloud Platformで提供しているマネージドサービスのMySQL互換データベースである「Cloud SQL」を正式版としてリリースしました。 Cloud SQLは2011年に発表され、2015年12月には性能を強化した第二世代が登場、最大10テラバイトのデータ容量とインスタンスあたり最大104GBメモリを提供し、最大2万IOPSの性能に達すると説明されていました。 正式版リリースにあたり、同社はブログ「Google Cloud Platform Blog: Cloud SQL Second Generation performance and feature deep dive」で競合となるAmazonクラウド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く