Building Reactive Fast Data & the Data Lake with Akka, Kafka, Spark
Building Reactive Fast Data & the Data Lake with Akka, Kafka, Spark In this session, we will discuss: * reactive architecture tenets * distributed “fast data” streams * application and analytics focused Data Lake Enterprise level concerns and the importance of holistic governance, operational management, and a Metadata Lake will be conceptually investigated. The next level of detail will be to exp
最新DDDアーキテクチャとAkkaでの実装ヒントについて
DDD+CQRS+Event SourcingとAkkaでの実装ヒントを解説。
ExecutionContextとblockingについて調べたメモ [scala] - だいたいよくわからないブログ
この記事の結論 globalなExecutionContextではブロックする処理をblockingで包むとスレッド数が勝手に増えるから空きスレッドが無くて実行できないといったことを防げる。 ExecutionContext.fromExecutorService(new ForkJoinPool(100)) で生成されるThreadはBlockContextトレイトを継承してないのでblockingを使ってもスレッド数を増やした方が良いという情報がスケジューラに伝わらない。 akkaのdispatcherをExecutionContextとして使うとBlockContext付きのForkJoinPoolを簡単に作れる。 ExecutionContext.fromExecutorServiceでもForkJoinPoolのコンストラクタに自前定義したThreadFactoryを渡すようにす
![ExecutionContextとblockingについて調べたメモ [scala] - だいたいよくわからないブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/cd3960dc516fcabbcccd7e6f1bc6952fc1efdc10/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F6435988827676774280%2F10328537792366453099%2F1499073542)
Classic FSM • Akka Documentation
Akka Classic pertains to the original Actor APIs, which have been improved by more type safe and guided Actor APIs. Akka Classic is still fully supported and existing applications can continue to use the classic APIs. It is also possible to use the new Actor APIs together with classic actors in the same ActorSystem, see coexistence. For new projects we recommend using the new Actor API. For the do
アクターの諸刃の剣：非同期のメッセージパッシングと状態隔離対障害モデル、そしてそれを克服するAkka Streamの可能性 - TanUkkiiのブログ
ScalaのアクターライブラリであるAkkaでは今までHTTPがIOパッケージでサポートされてきませんでした。HTTPのサポートはAkka Streamの開発とともになされたのです。なぜアクターモデルとHTTPをすぐ統合せずにStreamの登場を待つことになったのか？この疑問に答えることはアクターの問題を考えるよい題材です。 Sprayの革新とその限界 SprayはAkkaのアクターモデルとHTTPを統合して成功したフレームワークです。SprayはJVMベースのフレームワークの中で最高のパフォーマンスを誇りました。SprayはServletがもつがスレッドの高速性と、NodeJSがもつイベントループによる大量のリクエストを効率的に捌くことの特性の両立を、アクターによって可能にしたのです。 ところがSprayはアクターモデルならではの問題とも戦うことになります。Reactive Manife
SLOBSERVER - L'actualité de Second Life
Software development tools have greatly evolved over time to support a wide range of software development processes and help development teams to write code for different types of software. Choosing one specific software development is a challenging procedure as different software development frameworks have varying pros and cons. The purpose of this comprehensive article about some of the best so
Akkaの分散されたアクター間でDBを使わずにデータを共有する方法 - Qiita
本記事は TIS Engineer Advent Calendar 2015 23日目の記事です。 はじめに Akka で分散システムを構築したときに、分散された複数のアクター間で常に更新されるデータを共有することを考えます。DBを使わずにやろうとすると、共有データを管理するためのアクターを1つ作っておき、常にそのアクターにデータの取得と更新を依頼するという方法が思いつきます。しかし、この方法ではデータを共有するためのアクターが単一障害点になってしまうということと、その部分のスケーラビリティを確保できないという問題があります。 耐障害性とスケーラビリティを確保したまま、Akkaのアクター間でデータを共有するにはどうすれば良いのでしょうか？こういうケースでは Akka の Distributed Data というモジュールが使えます。Distributed Data を使うと、DBを使わずに
How Dwango Scaled Live Streaming With Play And Akka | @lightbend
Written by Soichiro Yoshimura Translated by Eugene Yokota Download Japanese Version PDF (1MB) About Niconico Niconico is among the most popular video sharing websites in Japan. At the time of its launch in 2006, it was called Niconico Douga (means smiling videos). The most distinctive feature is its commenting, which allows the users to post comments along the time axis of the broadcasted videos.
Akka Cluster Shardingで即時集計系をつくる | Scala Tech Blog
こんにちは、CA ProFit-X の松村です。 私たちのプロダクトでは広告配信のシステムにAkkaを使っていて、アプリケーションはAWS/Docker環境に配備して運用しています。今回はAkkaのCluster Shardingという拡張を使って、主にAWS環境を想定した簡単なリアルタイム集計システム(即時集計系)をつくってみたのでその内容をご紹介します。 下ではAkka Cluster Shardingについて簡単に説明した後、試作した即時集計系の実装・永続化と配備について説明します。その後、ワークロードとノード数を増減させた実験とその結果について説明します。 Akka Cluster Sharding について Akka ClusterはGossip Protocolとφ Accrual Failure Detectorという手法に基づいた非中央集権的なノード群構築を行うAkka拡張
【Akka】Akka Streamsがめっちゃ便利すぎて脳汁が出た話し | Scala Tech Blog
こんにちは！Smalgoの來田です。 注意：タイトルは過激ですが内容至って普通なチュートリアル記事です。 仕事でWorkerを作った時に使ってみてめっちゃ便利だと思ったのでAkka Streamsについて書きたいと思います！ まだまだ中の実装の深いところまで追えてるわけじゃないので間違っていたら教えてください。 Akka Streamsとは Reactive Streams（ノンブロッキングでback pressureな非同期ストリーム処理の標準仕様）のAkka実装 Back Pressureとは 非同期なストリーム処理の場合下記の問題が起きる Publisher側の処理が早い場合Subscriber側のバッファーが溢れてしまう Subscriberに遠慮してPublisher側の処理を抑えた場合は無駄が多くなってしまう それをSubscriberが自分が処理できる量をPublisherに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lightbend Fast Data Platform
Reactive integrations with Akka Streams
Akka Clusterの耐障害設計
Akka Streamsの縮退処理を用いた耐障害性の実現 〜 広告のリアルタイムオークションの事例 〜
CQRS+ESをAkka Persistenceを使って実装してみる。
Akka HTTP
INTEL コード & ダウンロード
Akka stream
https://downloads.typesafe.com/website/casestudies/images/typesafe-community-story-dwango.pdf
http://www.smartjava.org/content/visualizing-back-pressure-and-reactive-streams-akka-streams-statsd-grafana-and-influxdb/