Dataflow Prime: ビッグデータ処理で優れた効率と抜本的な簡素化を実現 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 企業が変化に対応できるスピードは、成功と混乱の差となって現れます。「生じたこと」に対処するだけでは不十分です。企業は「現在生じていること」と「生じる可能性のあること」を把握し、それに応じてプロアクティブな行動を取る必要があります。こうしたビジネス上の課題にリアルタイムで対処することで、チームは変化するビジネスニーズに迅速に対応し、タイムリーかつ適切で快適なユーザーエクスペリエンスを提供できます。 このような課題などに対処するデータ プラットフォームを構築できるように、Dataflow をご用意しました。Dataflow は NoOps のサーバーレス データ処理プラットフォームで、アプリケーションとユーザーが生成する膨大な量のデータを収集して強化できます。 Datafl
Scribe: Transporting petabytes per hour via a distributed, buffered queueing system
Scribe: Transporting petabytes per hour via a distributed, buffered queueing system Our hardware infrastructure comprises millions of machines, all of which generate logs that we need to process, store, and serve. The total size of these logs is several petabytes every hour. The outputs are generally processed somewhere other than where they were generated: They can be relevant to a variety of dow
One SQL to Rule Them All
Real-time data analysis and management are increasingly critical for today`s businesses. SQL is the de facto lingua franca for these endeavors, yet support for robust streaming analysis and management with SQL remains limited. Many approaches restrict semantics to a reduced subset of features and/or require a suite of non-standard constructs. Additionally, use of event timestamps to provide native
ログ解析基盤におけるストリーム処理パイプラインについて
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/
Zstandard - Real-time data compression algorithm
Zstandard is a fast compression algorithm, providing high compression ratios. It also offers a special mode for small data, called dictionary compression. The reference library offers a very wide range of speed / compression trade-off, and is backed by an extremely fast decoder (see benchmarks below). Zstandard library is provided as open source software using a BSD license. Its format is stable a
Debezium
Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong. Try our tutorial Stream changes from your database
The canonical new book about stream processing | Google Cloud Blog
Google software engineers Tyler Akidau, Slava Chernyak and Reuven Lax are co-authors of the upcoming O’Reilly Media book Streaming Systems: The What, Where, When, and How of Large-Scale Data Processing (now in Early Release). In the following Q&A, Tyler offers his reasons for writing this book, describes its intended readers and what readers will learn, and explains why streaming co
Streaming Systems
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Streaming data is a big deal in big data these days. As more and more businesses seek to tame the massive unbounded data sets that pervade our world, streaming systems have finally rea
Streaming Real-time Data into an S3 Data Lake at MeetMe | Amazon Web Services
AWS News Blog Streaming Real-time Data into an S3 Data Lake at MeetMe September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. In today’s guest post, Anton Slutsky of MeetMe describes the implementation process for their Data Lake. — Jeff; Anton Slutsky is an experienced information technologist with nearly two decades of experience in the field.
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Inca — Message Tracing and Loss Detection For Streaming Data @Netflix
https://db-event.jpn.org/deim2018/data/papers/265.pdf
Using PutHiveStreaming processor in NiFi
Streaming Data
Open-Sourcing Yelp's Data Pipeline
Avro Schema Registry with Apache Atlas for Streaming Data Management
Optimizing large-scale ingestion of analytics events and logs | Cloud Architecture Center | Google Cloud
https://db.in.tum.de/~kipf/papers/fastdata.pdf
Automated Analytics at Scale
Kinesis -> Druid : Options Analysis (to Push? to Pull? to Firehose? to Nay Nay?)