大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
1. © 2019 NTT DATA Corporation 1 © 2019 NTT DATA Corporation NTTデータ テクノロジーカンファレンス 2019 大規模データ活用向けストレージレイヤソフトの これまでとこれから 2019年9月5日 株式会社NTTデータ システム技術本部 吉田 耕陽 福久 琢也 2. © 2019 NTT DATA Corporation 2 ※Deepな話題に興味がある方は当チームメンバによる過去のカンファレンスでの発表資料もご参照ください。 ( で検索) 本セッションでお伝えしたいこと Hadoop誕生(2006年ごろ)からのストレージ系OSSを中心と した技術の発展と、残存する技術課題に対する近年出現して きたプロダクトのアプローチを若干寄り道しながら紹介します。 • お話ししない内容 • 個別の技術/ミドルウェアの”Deepな”話題(※)
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
Modern stream processing by Spark Structured Streaming by ペンギン愛好家 さん - niconare
2017/08/04 ストリームデータ処理技術勉強会での発表資料です。
Top 5 mistakes when writing Streaming applications
This document discusses 5 common mistakes when writing streaming applications and provides solutions. It covers: 1) Not shutting down apps gracefully by using thread hooks or external markers to stop processing after batches finish. 2) Assuming exactly-once semantics when things can fail at multiple points requiring offsets and idempotent operations. 3) Using streaming for everything when batch pr
ストリーム処理とは何か？＋2016年の出来事 - Qiita
その対処で全部に対応するのは無理なんじゃないの？ Watermark、Trigger、Accumulationの機構が導入されればストリーム処理は全て対応可能かというと、 そんなことはありません。 何故なら、下記のような問題が発生してくるからです。 Watermarkを実時刻からどれくらい遅らせて設定すればいいのか？ 遅れを大きくすれば正確性は増しますが、遅延時間は大きくなります。 Accumulationのためにウィンドウの集計結果をどれだけ保持すればいいのか？ 保持する時間が長いほど、ストリーム処理を行うシステムのリソースが必要となります。 データ処理システム（バッチ、ストリーム含む）には下記の３要素のトレードオフがあるとされています。 完全性(Completeness) 低遅延(Low Latency) 低コスト(Low Cost) この３要素を全てに満たすことは出来ず、全てのデータ
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Asakusa FrameworkとScalaの密かな関係
4. 4 （⾃自分と）各プロダクトの年年表 時期 出来事 2004年 Scala公開 2006年 Apache Hadoop・Java6リリース 2010年 2月 （Hadoop・HBaseを知る） 2010年 初頭 Spark〔OSS化〕 2010年 ８月 （Scalaを知る） 2011年 3月末 Asakusa Framework公開 2011年 7月 （Sparkを知る） 2012年 2月 （SIerから転職） 2012年 8月 DQ10発売 2014年 2月 Apache Spark〔トップレベル昇格〕 2014年 3月 Java8リリース 5. 5 Hadoopを知った経緯 1. 営業の⼈人から「はどぅーぷって知ってる？」 2. 知らないので調べてみた l 『Hadoopで、かんたん分散処理理』 http://techblog.yahoo.co.jp/architectu
Streaming SQL
Streaming is necessary to handle IoT data rates and latency but SQL is unquestionably the lingua franca of data. Apache Samza and Apache Storm have new high-level query interfaces based on standard SQL with streaming extensions, both powered by Apache Calcite. Calcite's relational algebra allows query optimization and federation with data-at-rest in databases, memory, or HDFS. A talk given by Juli
ビッグじゃなくても使えるSpark Streaming
2. Agenda ● What’s Apache Spark ○ 概要、特徴 ○ 落ち着いて考えよう ● Why Spark (Streaming) ○ 利用事例 ○ 効果 ● How To Spark (Streaming) ○ 使いドコロ 〜今必要としていないあなたにも〜
JVM上でのストリーム処理エンジンの変遷
1. JVM上の ストリーム処理エンジンの変遷 2016/05/21 JJUG CCC 2016 Spring 木村宗太郎（@kimutansk） https://www.flickr.com/photos/mattridings/9138233663 2. 自己紹介 • 木村 宗太郎（Sotaro Kimura） • ビッグデータ界隈に生息する何でも屋 • バックエンドからフロントエンド、技術検証から運用、 ドキュメント書きまで色々 • Scala Matsuri運営スタッフ • 元Storm使い • StormのためだけにClojureを勉強してましたよ・・・ • 現Spark Streaming使い • この発表ではそれ自体にはあまり触れません。 • Twitter他 : @kimutansk 1 4. 3 1. ストリーム処理とは？ バッチ処理 対話型クエリ ストリーム処理 実行タ
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” 2013年10月にHadoop 2.2が正式リリースされて以来、Hadoopの世界は大きく変わりました。それまでの概念である「Hadoop＝ HDFS＋MapReduce」が刷新され、MapReduceが受け持っていたMapデータ処理とクラスタリソース管理が分離できるようになりました。これにより、SparkなどMapReduce以外のデータ処理エンジンがHadoop上で利用可能になりました。 そしてHadoopのクラスタリソース管理を行うミドルウェアとして、新たなデファクトスタンダードの地位を確立しようとしているのが「Apache Hadoop YARN（Yet Another Resource Negotiator： YARN）」です。YARNの登場は並列分散処理にどん
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Hadoop Conference Japan 2016 の発表資料 前半のCloudera嶋内さん発表パートはこちら http://www.slideshare.net/Cloudera_jp/hcj2016-hadoopetl-20160208 Read less
Scala Matsuri 2016: Japanese Text Mining with Scala and Spark
This document provides an overview and examples of text mining Japanese documents with Scala and Spark. It discusses preprocessing Japanese text with word segmentation tools like Kuromoji, building topic models with LDA, and generating word embeddings with Word2Vec. Examples are given for segmenting Japanese text, creating document corpora, training LDA models to extract topics, and using Word2Vec
SparkとCassandraの美味しい関係
1. ©2015 DataStax Confidential. Do not distribute without consent. Apache Cassandra と Sparkの美味しい関係 1 DataStax 原沢滋 @Cassandrajapan 3. ©2015 DataStax Confidential. Do not distribute without consent. x Apache Cassandraとは分散データベース Apache Cassandra とは Amazon Dynamo の分散ハッシュ テーブル（DHT）と、Google BigTable のKVSの２つの特徴を 併せ持つビッグデータ用分散 データベース • Amazon DynamoとGoogle Bigtableの良い点を持つ • 高速パフォーマンスとリニアな拡張 • SPOF（Single
Spark徹底入門 #cwt2015
Spark徹底入門: Introduction to Apache Spark Cloudera World Tokyo 2015での発表資料です http://clouderaworld.tokyo Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Sparkによる GISデータを題材とした時系列データ処理 （Hadoop / Spark Conference Japan 2016 講演資料）
Apache Spark超入門 （Hadoop / Spark Conference Japan 2016 講演資料）
DeNAの分析を支える分析基盤
Java8 Stream APIとApache SparkとAsakusa Frameworkの類似点・相違点
