Netflix Platform Engineering — we’re just getting started
“Aren’t you done with every interesting challenge already?” I get this question in various forms a lot. During interviews. At conferences, after we present on some of our technologies and practices. At meetups and social events. You have fully migrated to the Cloud, you must be done… You created multi-regional resiliency framework, you must be done… You launched globally, you must be done… You dep
A Microscope on Microservices
by Coburn Watson, Scott Emmons, and Brendan Gregg At Netflix we pioneer new cloud architectures and technologies to operate at massive scale — a scale which breaks most monitoring and analysis tools. The challenge is not just handling a massive instance count but to also provide quick, actionable insight for a large-scale, microservice-based architecture. Out of necessity we’ve developed our own t
Evolution of the Netflix Data Pipeline
Our new Keystone data pipeline went live in December of 2015. In this article, we talk about the evolution of Netflix’s data pipeline over the years. This is the first of a series of articles about the new Keystone data pipeline. Netflix is a data-driven company. Many business and product decisions are based on insights derived from data analysis. The charter of the data pipeline is to collect, ag
Netflix and Containers - Titus
Slides from the 2016/01/28 Advanced Amazon Web Services (AWS) Meetup. Netflix overviewed the usage of containers at Netflix. We covered technologies we are working on in the runtime (Titus) and developer experience (Newt). We talked about how the Titus container management system was different from others and our journey with Docker, Mesos, Netflix Fenzo and eventually Amazon Elastic Container Ser
Automated Failure Testing
At Netflix, we have found that proactive failure testing is a great way to ensure that we have a reliable product for our members by helping us prepare our systems, and our teams, for the problems that arise in our production environment. Our various efforts in this space, some of which are manual, have helped us make it through the holiday season without incident (which is great if you’re on-call
Netflixのモダンなクラウドベースのプラットフォーム - kuenishi's blog
生活リズムが乱れることがしばしばあって、たとえば遅くまでプログラミングの仕事やネットサーフィンをすると脳が興奮してなかなか寝付けない。もともと寝付きが悪くて、遠足の帰りのバスも一人だけずっと起きてるような子供だったのでまあ仕方がない。さらに歳のせいか、連続して睡眠できる時間が短くなり、パフォーマンスの低下につながることが多くなった。 そこで真人間を目指していくつか施策を打っているのだが、そのひとつが布団のなかでPodcastを聞くというものだ。これは @omo2009 さんがTwitterでLeslie Lamportのインタビューの話をしていて、聴いてみたら思っていたより面白かったのがきっかけである。 そういうわけで、ちょっと眠れなそうな夜には、イヤホンを寝室に持ち込んでこのIEEEのPodcastを聴くことにしている。他にもいくつかチャンネル登録しているものがあるのだけど、それはいい話
マイクロサービスにおける障害と Failurewall - Qiita
こちらは Scala Advent Calendar 2015 25日目の記事です。 Scalist の皆さん、一年間お疲れさまでした。 当記事の目的はマイクロサービス(に限らないですが)における失敗の怖さについて説明することと、それを克服するためのライブラリ、Failurewall を紹介することです。 障害は怖い 障害の連鎖 現代的な Web アプリケーションは多くの依存を抱えています。MySQL のようなデータベースに依存することもあれば、Twitter API のような外部サービスに依存することもあるでしょう。マイクロサービスを実践している環境では社内 Web API に依存していたり、あるいは他のシステムが自分のシステムに依存していたりするかもしれません。 このように優秀なミドルウェアや Web API を組み合わせることで、アプリケーションは高い性能を発揮したり、豊かな機能を提
NetflixのgithubリポジトリはWeb技術の百貨店だった - DiaryException
検索しているとなにかとNetflixのgithubリポジトリがヒットするので、全部（2015/07/18現在分）調査してみた。 github APIで https://github.com/Netflix のリストを全部取得して、名前・概要・URL・最終更新日時 (なんの更新だ?) を抽出。 AWS用のプロダクトが多かったのでまずそれらと、その他という分類にした。その他はほとんどがJavaライブラリ・システムだが、一部WebアプリケーションやPythonライブラリがある。 日本語での説明はReadmeやWikiを見て書いているが、理解が正しくないかもしれない。 AWS用 aws-autoscaling Tools and Documentation about using Auto Scaling URL: https://github.com/Netflix/aws-autoscalin
Linux Profiling at Netflix
This talk discusses Linux profiling using perf_events (also called "perf") based on Netflix's use of it. It covers how to use perf to get CPU profiling working and overcome common issues. The speaker will give a tour of perf_events features and show how Netflix uses it to analyze performance across their massive Amazon EC2 Linux cloud. They rely on tools like perf for customer satisfaction, cost o
From Clouds to Roots: Performance Analysis at Netflix
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
はてな京都オフィスで、Netflix Meetupを開催しました - Hatena Developer Blog
こんにちは。アプリケーションエンジニアのid:daiksyです。 この記事ははてなエンジニアアドベントカレンダーの2日目です。 今日は、12月1日にはてな京都オフィスで開催された、Netflix Meetup in Kyotoの模様をご紹介しようと思います。 経緯 ある日、Netflix社のJason Swartz(@swartzrock)さんから、日本のScalaコミュニティ宛に相談がありました。その内容は、「今度日本に遊びに行く予定で、東京と京都に滞在するんだけど、よい機会だから日本のエンジニアとMeetupなどやれないか」というものでした。 この相談を受けたScalaコミュニティから、ScalaMatsuriのスタッフをしていた関西のエンジニアとの縁もあって「京都で誰か手を挙げません？」との打診があり、またとない機会なので、はてなの京都オフィスのセミナールームを提供することになりまし
ZeroToDocker
Motivation:The NetflixOSS platform and related ecosystem services are extensive. While we make every attempt to document each project, being able to quickly evaluate NetflixOSS is a large challenge due to the breadth for most users. This becomes a very large challenge to anyone trying to understand individual parts of the platform. Another part of the challenge relates to how NetflixOSS was design
Not Production
The Docker images created are not intended to be used in production as is. The Docker images created are to allow for easier evaluation of the various NetflixOSS technologies, similar to many other published open source Docker images. Some reasons why that are not production ready: High-Availability The NetflixOSS services shown here are configured as single instances and do not form a cluster wit
[セッションレポート]NetflixにおけるMicroservicesアーキテクチャ #reinvent | DevelopersIO
この記事は AWS re:Invent 2014、PFC304-JT - Effective Interprocess Communications in the Cloud: The Pros and Cons of Micro Services Architectures - Japanese Trackのレポートです。 スピーカーはNetflixのSudhir Tonse。 レポート どうやってMicroservicesに変化していったのかを話したい。 これまで何度か本番環境が停止し、そこからたくさんのことを学んだ。それを共有したい。 Netflixについて。映画のストリーミングサービス。 PCやPS4などで再生できる。 ネットワークの1/3のトラフィックをNetflixが占めることがある。 20億以上のエッヂAPIリクエストがあって、500以上のMicroservicesが動いてい
![[セッションレポート]NetflixにおけるMicroservicesアーキテクチャ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
NetflixMeetup in Kyoto (2014/12/01 19:30〜)
日本ではhuluなどが馴染み深いネットでの動画ストリーミング配信サービスですが、 米国の動画配信サイト大手のNetflixという会社があります。 Netflix社ではScalaでのプロダクト開発やマイクロサービスの取り組みなど、技術的にもアグレッシブなチャレンジをする会社として知られており、そんなNetflixのエンジニアであるJason Swartz(@swartzrock)さんをお迎えして、NetflixでのScala活用事例や開発の取り組みなどをご講演頂く予定です。 ※参考スライド 当日は英語の発表となります。(翻訳等については現在検討中です) コンテンツ 講演者プロフィール Jason is a Software Engineer in the San Francisco Bay Area, developing applications and services in Scala
非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開
RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開した「Dynomite」（ダイナマイトとは綴りが違うのに注意）は、こうしたデータストアを分散データベース化し、高速なデータストアの特長を活かしつつ高いスケーラビリティや可用性を実現するためのソフトウェアです。 アプリケーション側でシャーディングのような面倒なデータ構造を設定することなく、RedisやMemcachedをノードとし、CassandraやAmazonクラウドのDynamoDBのような大規
Introducing Dynomite
Introduction & OverviewNetflix has long been a proponent of the microservices model. This model offers higher-availability, resiliency to failure and loose coupling. The downside to such an architecture is the potential for a latent user experience. Every time a customer loads up a homepage or starts to stream a movie, there are a number of microservices involved to complete that request. Most of
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Netflixは218台のCassandraノード再起動にどう対処したのか
https://dl.acm.org/doi/10.1145/2843948
NetflixがExpress.jsに嵌まる
