分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
転置インデックスの圧縮技法
転置インデックスは、検索エンジンの実装において、中心的な役割を果たすデータ構造である。 転置インデックスのデータ構造とアルゴリズムは、クエリ処理アルゴリズムとともに、検索エンジンの性能に直結する。とくに大規模な検索エンジンにおいては、キャッシュ効率を高めてクエリ処理を高速化するために、転置インデックスの圧縮は必要不可欠となっている。 この記事では、転置インデックス、とくにポスティングリストの圧縮について、近年の手法を簡単にまとめる。 目次 転置インデックスの基本 転置インデックスのデータ構造と特性 転置インデックスのアクセスパターン 近年のインデックス圧縮技法 Variable-Byte Family VByte Varint-GB Varint-G8IU Masked-VByte Stream-VByte Opt-VByte Simple Family Simple9 Simple16
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、プライバシー保護型機械学習技術の研究開発を行っているML Privacyチーム、ならびにAIの信頼性を担保する技術の研究開発を行っているTrustworthy AIチームを紹介します。 両チームのマネージャーを務める高橋翼、エンジニア/リサーチャーの長谷川聡(ML Privacyチーム)、綿岡晃輝(Trustworthy AIチーム)に話を聞きました。 両チームのメンバーの皆さん。所属チームを壁紙で色分けしてもらいました(ご覧の通り2名が兼務です) まず、自己紹介をお願いします。 高橋：2018年12月にLINEに中途入社した高橋翼です。前職は電機メーカーの中央研究所です。ML PrivacyチームとT
Presto | Paper
Presto: SQL on Everything IEEE International Conference on Data Engineering (ICDE) Raghav Sethi, Martin Traverso, Dain Sundstrom, David Phillips, Wenlei Xie, Yutian Sun, Nezih Yigitbasi, Haozhun Jin, Eric Hwang, Nileema Shingte, Christopher Berner Abstract Presto is an open source distributed query engine that supports much of the SQL analytics workload at Facebook. Presto is designed to be adapti
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて話す「LINE 新卒採用 技術職 コース別説明会」。ここでMachine Learning Solution室の髙橋氏が登壇。ML Privacyチームについて話します。 髙橋氏の自己紹介 髙橋 翼氏：プライバシーの職種は、先ほど説明のあったML Privacyチームというところのリサーチサイエンティストとリサーチエンジニアのポジションになります。 現状だと、Machine Learning Solution室という、菊地（菊地悠氏）がマネージしている室の中に1つのチームとして存在しています。他のMLの方々とは専門性とかロールが違うので選考の入り口も分かれているので、お気をつけください。 あともう1個注意点としては、プライバシーという職種ですが、あくまでデータサイエンスを前提とするプライバシーの
Database Internalsの輪読会の第7回 chapter 6, B-Tree Variantsの発表予定です。 chapter 6は6つの論文を軸にB treeの応用(亜種)について書かれていますが、それぞれの論文を紹介するにはページ数が少なく、「こんなのもあるよー」程度になっています。そのため、適当に読み飛ばす人も多いのではと思いますが、一つ一つの論文を読んでみるとかなり面白いです。 ここではchapter 6で紹介されている6つの論文を中心にB treeの研究を漁ってみた経過を超簡単にまとめます。 これらは論文を読みながら作ったメモなので、詳細については当日発表します。 興味のある方は勉強会に参加してみてください。 databaseinternals.connpass.com 僕はそもそもデータのIndexingに興味があり、この勉強会と関係なくこの調査及び実践(実装)は継
dbs-002.dvi
Foundations and Trends R � in Databases Vol. 1, No. 2 (2007) 141–259 c � 2007 J. M. Hellerstein, M. Stonebraker and J. Hamilton DOI: 10.1561/1900000002 Architecture of a Database System Joseph M. Hellerstein1 , Michael Stonebraker2 and James Hamilton3 1 University of California, Berkeley, USA, hellerstein@cs.berkeley.edu 2 Massachusetts Institute of Technology, USA 3 Microsoft Research, USA Abstra
Are You Sure You Want to Use MMAP in Your Database Management System?
Are You Sure You Want to Use MMAP in Your Database Management System? Andrew Crotty Carnegie Mellon University andrewcr@cs.cmu.edu Viktor Leis University of Erlangen-Nuremberg viktor.leis@fau.de Andrew Pavlo Carnegie Mellon University pavlo@cs.cmu.edu ABSTRACT Memory-mapped (mmap) file I/O is an OS-provided feature that maps the contents of a file on secondary storage into a program’s address spac
Differential Data Quality Verification on Partitioned Data Sebastian Schelter, Stefan Grafberger, Philipp Schmidt, Tammo Rukat, Mario Kiessling, Andrey Taptunov, Felix Biessmann, Dustin Lange Abstract Modern companies and institutions rely on data to guide every single decision. Missing or incorrect information seriously compromises any decision process. In previous work, we presented Deequ, a Spa
Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics Michael Armbrust1, Ali Ghodsi1,2, Reynold Xin1, Matei Zaharia1,3 1Databricks, 2UC Berkeley, 3Stanford University Abstract This paper argues that the data warehouse architecture as we know it today will wither in the coming years and be replaced by a new architectural pattern, the Lakehouse, which will
GitHub - pingcap/awesome-database-learning: A list of learning materials to understand databases internals
Awesome Database Learning A list of learning materials to understand databases internals, including but not limited to: papers blogs courses talks Please submit a pull request if there is any material that you think should be included in this collection. Table of Contents Recommended Courses, Books and Talks Courses Books Talks Blogs SQL & Relation Algebra Query Optimizer Planner Models Subquery O
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINEのプライバシー保護やAIの信頼性担保の研究開発チームを紹介します
“研究のための研究”ではなく、事業の延長線上にある課題を解決する セキュリティ×機械学習の成果を事業に届けるMLプライバシーチーム
B-tree variantsの調査 - tom__bo’s Blog
Differential Data Quality Verification on Partitioned Data | Sebastian Schelter