Netflixによるインスタンス負荷改善のための解析事例 - FPGA開発日記
LinkedInの記事をめぐっているうちに見つけた、マイクロアーキテクチャに関する面白い事例。 CPUのマイクロアーキテクチャのさらに奥深くまで理解が必要な問題を解決するために、どのようなツールをつかってどのように解決したかの話。 netflixtechblog.com Netflix内でのワークロード最適化のため、AWSのインスタンスサイズを移行(16 vCPUから48 vCPU)し、CPUがボトルネックとなるワークロードの性能向上を図った。 このインスタンスの移行により、性能をほぼ直線的に増加させることを想定し、スループットがおよそ3倍になると予想した。 しかし、結果としてこの移行で想定する性能は達成できなかった。 https://netflixtechblog.com/seeing-through-hardware-counters-a-journey-to-threefold-pe
No Brilliant Jerks - Netflixの「頭はいいけど嫌な奴、お断り」について調べた - Qiita
No Brilliant Jerks - Netflixの「頭はいいけど嫌な奴、お断り」について調べたチーム開発チームビルディングnetflix ブリリアント・ジャークス。 有能だけど有害な人のことを Brilliant Jerks と言うとのこと。 (以下DeepL翻訳) The Brilliant Jerk: What to do with A High Performer with a Bad Attitude 良い姿勢、ハイパフォーマンス - ロックスター 良い姿勢、低いパフォーマンス - チームプレーヤー 悪い姿勢、低パフォーマンス - 三本足の犬 悪い姿勢、ハイパフォーマンス - The Brilliant Jerk. 態度の悪いハイパフォーマーを排除することは、他の社員の潜在能力を引き出す圧力弁を解放するようなものです。 私はそれを何度も何度も見てきました。態度の悪い人が会社
Twitchが韓国でのサービスを2024年2月で終了へ。運営コストが他国に比べて「約10倍」高いため - AUTOMATON
Twitchは日本時間12月6日、韓国におけるTwitchのサービスについて、2024年2月27日をもって終了することを告知した。理由として、韓国でのTwitch運営コストが極めて高額になったことを挙げている。 한국 시간 기준 2024년 2월 27일부로 한국 내 Twitch 운영이 종료됩니다. 어려운 결정에 이르게 된 자세한 내용은 Twitch 블로그를 통해 확인하실 수 있습니다.https://t.co/PnKbn6XoGA pic.twitter.com/0sPTofJYc2 — Twitch Korea (@TwitchKR) December 6, 2023 Twitchはライブコンテンツを提供する配信プラットフォームサービスだ。ゲームの実況配信などを中心に発展し、国内外の本業ストリーマーや一般ユーザーにも広く利用されている。またメーカーにも活用されており、eス
可用性や安全性を高めつつ、ソフトウェアをシンプルにすることは不可能だ。カオスエンジニアリングから継続的検証へ（中編）。JaSST'23 Tokyo基調講演
可用性や安全性を高めつつ、ソフトウェアをシンプルにすることは不可能だ。カオスエンジニアリングから継続的検証へ（中編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリ
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリングから継続
How Netflix uses eBPF flow logs at scale for network insight
By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti Lakshminarayan Netflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight. ChallengesThe cloud network infrast
Netflixを支える推薦システムの裏側｜masa_kazama
イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl
MezzFS — Mounting object storage in Netflix’s media processing platform
By Barak Alon (on behalf of Netflix’s Media Cloud Engineering team) MezzFS (short for “Mezzanine File System”) is a tool we’ve developed at Netflix that mounts cloud objects as local files via FUSE. It’s used extensively in our media processing platform, which includes services like Archer and runs features like video encoding and title image generation on tens of thousands of Amazon EC2 instances
Netflixにおける日本語字幕の導入
(Please note that this article is a localized (to Japanese) version of a corresponding tech blog article in the English language) Netflixでは、2015年9月の日本における配信サービス開始時から日本語字幕を提供しています。 今回のブログでは、日本語字幕提供に至るまでの技術的な取り組みについて説明します。 字幕ソースファイルの仕様、字幕ソースファイルからNetflix配信用字幕への変換モデル、Netflixにおける日本語字幕の納品モデルなどを取り上げます。さらに、W3C字幕規格Timed Text Markup Language 2 (TTML2)導入に向けた対応についても触れます。 2014年の終盤にかけて、Netflixでは2015年9月に予定していた日
Netflix のオープンソース可視化ツール FlameScope を使ってみた - ablog
Netflix FlameScope: a new open source performance analysis tool https://t.co/ALhVppkzfd #flamescope pic.twitter.com/YrJMuJvb7p— Brendan Gregg (@brendangregg) 2018年4月4日 Brendan Gregg らの所属する Netflix の cloud performance engineering team が FlameScope というパフォーマンス可視化ツールをオープンソースで公開した。詳しくは Netflix Tech Blog 参照。 flame graphs は瞬間的なスパイクを分析しづらかったが、FlameScope により1秒未満のヒートマップでイベント発生回数の多い時間帯が可視化されピンポイントで特定期間の flam
Netflix FlameScope
We’re excited to release FlameScope: a new performance visualization tool for analyzing variance, perturbations, single-threaded execution, application startup, and other time-based issues. It has been created by the Netflix cloud performance engineering team and just released as open source, and we welcome help from others to develop the project further. (If it especially interests you, you might
Chaos Engineeringの概要とPumba入門 - Qiita
この記事は リクルートライフスタイル Advent Calendar 2017 4日目の記事です。 はじめに こんにちは！データエンジニアリンググループでエンジニアをやっている @shotat です。 最近は CETというプロジェクトでDataflowを書いたりGoを書いたり無限にSQLを書いたりしています。 先月サンフランシスコで行われた QCon2017 に参加してきました。 QConではArchitecture, DevOps, Microservices, AI, CS, Culture, Web…と幅広いトラックがあり、全体としてサービス・組織をどのようにスケーリングさせていくか？という点に関心が集まっていたように感じました。 トラックの一つとしてChaos Engineeringがあり、中でもChaos Architecture のセッションはカンファレンスで一番Attende
Scaling Time Series Data Storage — Part I
IntroductionThe growth of internet connected devices has led to a vast amount of easily accessible time series data. Increasingly, companies are interested in mining this data to derive useful insights and make data-informed decisions. Recent technology advancements have improved the efficiency of collecting, storing and analyzing time series data, spurring an increased appetite to consume this da
あの人気サービスは、Webサイトを高速化するために何をしているか | Wantedly Engineer Blog
最近、Webサイトの高速化が話題になっています。 Wantedlyでもサーバーサイドのレスポンス速度はしっかりトラッキングして取り組んでいましたが、フロントエンドはまだまだやれることがあると認識し、悔しさを胸にさっそく動き出しています。 取り組むに当たって、まずは事例を集めていくことから始めました。サーバーサイドの実装を見ることはできないですが、フロントエンドは頑張れば覗けるので、Webサイトの高速化に取り組んでいそうな他のサービスをじっくり観察することで、自分たちのプロダクトに最適な方法を選択できるはずです。 様々な種類のサービスを提供しているサイトを調査してみると、その高速化の手法はサービスごとに結構違っていて、学ぶことが想像以上に多かったので、ブログにまとめてました。同じようにWeb高速化へのモチベーションが高まっている皆さんの参考になれば幸いです。 Netflixまずは、動画ストリ
Netflix functions without client-side React, and it's a good thing
Netflix functions without client-side React, and it's a good thing A few days ago Netflix tweeted that they'd removed client-side React.js from their landing page and they saw a 50% performance improvement. It caused a bit of a stir. This shouldn't be a surprise The following: Download HTML & CSS in parallel. Wait for CSS to finish downloading & execute it. Render, and continue rendering as HTML d
Developer Experience Lessons Operating a Serverless-like Platform at Netflix
By Vasanth Asokan, Ludovic Galibert and Sangeeta Narayanan The Netflix API is based on a dynamic scripting platform that handles thousands of changes per day. This platform allows our client developers to create a customized API experience on over a thousand device types by executing server side adapter code in response to HTTP requests. Developers are only responsible for the adapter code they wr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Netflix/maestro: Maestro: Netflix’s Workflow Orchestrator
さかいふうた on Twitter: "Netflixのカルチャーでお馴染みの「有能だけど有害な人」＝ブリリアントジャーク問題について、見極め方法・チェックポイントは画像に書いた3つくらいあると思ってます。 ただ、"誰の心にもひっそりと存在してるもの"なので、採用の見極めというか、まず自問自答する方が先かなと思ってます。 https://t.co/ggQIPZei05"
「お洒落な少年漫画」「チェスするヒカ碁」と話題のNetflixオリジナルドラマ『クイーンズ・ギャンビット』
Netflix: マイクロサービスアーキテクチャのアプリケーションをDDoSから守るには
