きつねさんと学ぶ Lambda式&StreamAPIハンズオン[関ジャバ2015/7/11] #kanjavaデーコムでは9月30日に職場でJava 8の勉強会を実施しました。その時の資料を公開しますので、ぜひJava 8の世界に触れてみてください。 ■ 【java8 勉強会】 怖くない！ラムダ式, Stream API http://www.dcom-web.co.jp/technology/java8study/ ■ デーコムHP http://www.dcom-web.co.jp/ ■ デーコムFacebook https://www.facebook.com/dcom.corp/
![きつねさんと学ぶ Lambda式&StreamAPIハンズオン[関ジャバ2015/7/11] #kanjava](https://cdn-ak-scissors.b.st-hatena.com/image/square/809770f813735a077a9b91ee208d0a5cca92b28b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fhandson-150716025702-lva1-app6891-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Stream Processing Casual Talks #1 に行ってきた＆しゃべってきた - たごもりすメモ
なんか、やろうぜー、という話になってそのような勉強会が行われたので、参加してた。 connpass.com 会場＆飲食の提供はYahoo! Japanさん。ありがとうございました。面白かった。 しゃべってきた Norikraそのものの話はさすがに今更感あったので、Norikraの大事なところと、あとPerfect Norikra (仮)について話してきた。 How to Make Norikra Perfect from SATOSHI TAGOMORI まあ、まだ1byteも存在しないソフトウェアなんだけどな！ 存在しないソフトウェアについて話せるようになったの、ちょっと実績解除感があるのではないだろうか。だめか。 Norikraを分散処理対応にするにはクエリ処理エンジンおよびデータ転送層を丸ごと書き直すしかないなー、しかもそこに色々なアイデアが必要だなとは思っていて、そのうちのひとつで
Stream Processing in SmartNews #jawsdays
- SmartNews uses stream processing to deliver news quickly as the lifetime of news articles is very short. Kinesis Streams play an important role in processing user activity streams and metrics in near real-time. - Data is ingested using Kinesis Producer and Consumer Libraries and processed using Spark Streaming to generate metrics for ranking articles. Metrics are stored in DynamoDB. - An ETL wor
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
Stream Processing in Uber
Video and slides synchronized, mp3 and slide download available at URL http://bit.ly/1OKo5FN. Danny Yuan discusses how stream processing is used in Uber's real-time system to solve a wide range of problems, including but not limited to real-time aggregation and prediction on geospatial time series, data migration, monitoring and alerting, and extracting patterns from data streams. Yuan also presen
Reactive Streamsとは？ - たけぞう瀕死ブログ
Reactive Streamsというのはノンブロッキングなback pressure可能な非同期ストリーム処理の標準的な仕様を提供しようというもので、実装としてはAkka Streams、RxJava、Reactor Composable、Ratpackなどがあります。 Reactive StreamsについてはAkkaのコミッタであるKonrad Malawskiさんの以下のスライドがとてもわかりやすいです。 2014 akka-streams-tokyo-japanese from Konrad Malawski ストリーム処理（というか非同期メッセージング全般に言えることですが）では受信側の処理能力を超えるデータを送信し続けるといずれキャパシティを超えてオーバーフローが発生してしまうため、送信側に比べて受信側の処理能力が低い場合は送信側が手加減してデータを送信する必要があります。な
学術的に見た ストリームデータ処理 2013年6月28日 筑波大学 講師 川島英之
4. STORM Norikra Jubatus CEP DSMS SPE Relational-stream XML-stream S4 STREAM System S Algorithm trading Borealis(MIT/Brandeis) Stream computing Complex event processing Online learning Incremental computation Continual query Spring (DTW) CPD (Change Point Detection) Window-aggregate Window-join FPGA GPU SASE Fraud detection Malware detection AQP (Adaptive Query Proc.) Esper BRIMOS Handshake-join I
Norikra: SQL Stream Processing In Ruby
This document summarizes a presentation about Norikra, an open source SQL stream processing engine written in Ruby. Some key points: - Norikra allows for schema-less stream processing using SQL queries without needing to restart for new queries. It supports windows, joins, UDFs. - Example queries demonstrate counting events by field values over time windows. Nested fields can be queried directly.
Hadoop Conference Japan 2014いってきた＆しゃべってきた - たごもりすメモ
Hadoop Conference Japan 2014- Eventbrite 今年も開催されたのでいってきた。主催者の方は本当におつかれさまでした。毎回規模がでかくて、これやるのは本当大変だろうなと思う。参加登録者は1299名だそうな。 全体的な空気としてはいよいよYARN移行が避けられず、その上に乗っかるデータ処理フレームワークとしてMapReduceも今後存在しつづけるもののSparkやTez*1が登場し、処理記述言語としてはもう単純な処理についてはSQL一択ですかね、という感じ。機械学習系やそのほかのワークロードはまた違うだろうけど。あとはMPP系のエンジンがその脇にある、という。 今回は事例の話が極端に少なくなって、みんな各コンポーネントについての話をしてた気がする。技術的には過渡期だということかな。いいことだ。 参加者アンケートでFluentdを使っていると答えた人が200人
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JVM上でのストリーム処理エンジンの変遷
社内Java8勉強会 ラムダ式とストリームAPI