5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
Stream changes from Amazon RDS for PostgreSQL using Amazon Kinesis Data Streams and AWS Lambda | Amazon Web Services
AWS Database Blog Stream changes from Amazon RDS for PostgreSQL using Amazon Kinesis Data Streams and AWS Lambda In this post, I discuss how to integrate a central Amazon Relational Database Service (Amazon RDS) for PostgreSQL database with other systems by streaming its modifications into Amazon Kinesis Data Streams. An earlier post, Streaming Changes in a Database with Amazon Kinesis, described
gRPC streamとServer-Sent Eventsを利用したサーバプッシュ型ミドルウェアを世に放った
以前のエントリにて、gRPCとServer-Sent Eventsを利用したサーバプッシュ型ミドルウェアを作ったという話を書いた。今回のエントリは、Production環境に配置し、Web/iOS/Androidの3デバイスにおいて世に放ったというエントリ。 gRPCとServer-Sent Eventsでサーバプッシュできるplasmaを公開しました このミドルウェアはPlasmaと名付けられていて、3月に春休みを使ってインターンをしに来た恐ろしく徳の高い大学生によって書かれた。 実装に関する馴れ初めについては彼のエントリを参照して欲しい。 サイバーエージェントのインターンに参加してポーリング撲滅しようとしてきた このPlasmaを構想するに至った動機だが、Webやスマートフォンアプリが参照している画面やコンポーネントの状態変化をサーバプッシュによって検知し、何かしらの処理をするというこ
StreamDataProcessing 101 by ペンギン愛好家 さん - niconare
#ScalaMatsuri での発表資料です。
Stream API入門 - Qiita
Nodeのアドベントカレンダー、既に終わった枠が空いていて、この際書きたいネタがあったんで参加しました。宜しくお願いします。 アドベントカレンダーの時期だけ出没する弱い日曜Haskellerです。普段の実務ではNode.jsにお世話になってます。宜しくお願いします。 さて、みなさんStream API使ってますか？Node.jsといったら非同期ですよね、やっぱり。しかしながら、JavaScriptでも他の言語でも、非同期処理自体は注目されているものの、まだexperimentalという感じで様々なAPIが考案されては消えていき、また元々そういう文化が根強くなかったところから来た人たちにとって、こういう文化はちょっと立ち入りづらいところもあるかもしれませんね。 今日は、主にそういう人たちに向けて、まず非同期の色々なAPIの紹介、そしてその中でのストリームのメリット、そして実際のStream
2016-01-26のJS: JavaScriptとOOP、Fetch with Stream、ES6チートシート
JSer.info #263 - OO Relationships — MediumではJavaScriptとオブジェクト指向プログラミングについて書かれています。 Allen Wirfs-Brockさんの以下の発言が発端です(今も続いてる) JS devs: do you use abstraction? What word do you use for “an open set of objects that share a common interface and implementation”? — Allen Wirfs-Brock (@awbjs) January 19, 2016 JS Devs: What do you call “an open set of objects that share a common interface and implementation”
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hive user group presentation from Netflix (3/18/2010)
https://d1.awsstatic.com/International/ja_JP/Whitepapers/Serverless_Streaming_Architecture_Best_Practices_JA.pdf
GitHub - locationtech/rasterframes: Geospatial Raster support for Spark DataFrames
RxJS Explorer
GitHub - grammarly/focal: Program user interfaces the FRP way.
GitHub - staltz/xstream: An extremely intuitive, small, and fast functional reactive stream library for JavaScript