The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective - Meta Research | Meta Research
Applied Machine Learning at Facebook: A Datacenter Infrastructure PerspectiveInternational Symposium on High-Performance Computer Architecture (HPCA) Machine learning sits at the core of many essential products and services at Facebook. This paper describes the hardware and software infrastructure that supports machine learning at global scale. Facebook’s machine learning workloads are extremely d
Data Infrastructure at In Loco
Every single tech company that operates at a very large scale will tell you about the importance of knowing how to properly handle data transport and manipulation. When providing context-aware location services for 50 million users on mobile phones all over the world, we at In Loco need to constantly re-imagine and re-invent our infrastructure such that not only our developers and overall data ana
モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ
モバイルファースト室の @rejasupotaro です。 クックパッドでは、サービスをリリースしてログを収集して分析して改善してまたリリースして、というサイクルを素早く回すことでより良いものを作るということをウェブではやってきました。 クックパッドのサービス開発のフレームワークをモバイルアプリでも適用したいのですが、モバイルアプリにはウェブアプリと違ったロギングの難しさがあります。 今回はモバイルアプリのロギングの問題点とPureeというログ収集ライブラリについて話します。 モバイルアプリのロギングの難しさ ウェブアプリでは、基本的にはサーバー側でログを収集することができますが、モバイルアプリの場合は画面の制御はアプリ側で行われ、APIを介してデータを受け取るため、クライアント側でログを収集して送信する必要があります。 アプリのログを収集するのに、画面遷移をしたりタップするたびにサーバー
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
#TokyoWebmining 48thで使った資料です。 「1000人規模で使う分析基盤構築 〜Redshiftを活用したEUC」
SmartNews の webmining を支えるプラットフォーム
第48回データマイニング+ WEB @東京（#TokyoWebminig 48th）- AWS上での分析基盤アーキテクチャ最前線祭り-「SmartNews の Webmining を支えるプラットフォーム」 speaker: Yuhei Nishioka @SmartNews
Bioinformatics and Computational Biology Lead, Special Projects - Google Careers
Equal OpportunityGoogle is proud to be an equal opportunity and affirmative action employer. We are committed to building a workforce that is representative of the users we serve, creating a culture of belonging, and providing an equal employment opportunity regardless of race, creed, color, religion, gender, sexual orientation, gender identity/expression, national origin, disability, age, genetic
VIDEOS: Facebook’s @Scale 2014, Data Track
VIDEOS: Facebook’s @Scale 2014, Data Track Facebook held its @Scale 2014 conference in San Francisco Sept. 15, and engineering manager Sambavi Muthukrishnan shared videos from the event’s data track in a post on the Facebook engineering blog. Facebook held its @Scale 2014 conference in San Francisco Sept. 15, and engineering manager Sambavi Muthukrishnan shared videos from the event’s data track i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qconsf.com/sf2016/system/files/presentation-slides/netflix-cloud_analytics.pdf
http://www.sysml.cc/doc/9.pdf
High-Availability at Massive Scale: Building Google’s Data Infrastructure for Ads
Medium
Scaling the Data Infrastructure @Spotify | QCon San Francisco 2016
http://sirrice.github.io/files/papers/cleaning-hilda16.pdf
データ活用を効率化するHadoop WebUIと権限管理改善事例
リクルートにおけるデータのインフラ化への取組
Search Jobs — Google Careers
Everything We Wish We'd Known About Building Data Products
https://cs.stanford.edu/people/rsumbaly/coursera_strata_2016.pdf