Netflixはどのようにして800Gb/sものデータ転送を実現しようとしているのか？
近年は動画ストリーミングサービスの利用者が増加しており、インターネットトラフィックの大部分を占めていると指摘されています。世界最大級の動画ストリーミングサービスであるNetflixが、日々大量のデータを全世界のユーザーに送信するためにどのような工夫を凝らしているのかを説明するスライドを公開しています。 2022-Streaming-Summit-Netflix.pdf (PDFファイル)http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf Netflixは800Gb/sもの動画データを1つのサーバーで送信するシステムの構築を目指し、長い道のりを歩んできました。 Netflixのワークロードでは、動画を「静的メディアファイル」として送信しており、すべてのコーデック／
Man page of MMAP
Section: Linux Programmer's Manual (2) Updated: 2015-01-22 Index JM Home Page roff page 名前 mmap, munmap - ファイルやデバイスをメモリーにマップ/アンマップする 書式 #include <sys/mman.h> void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); int munmap(void *addr, size_t length); 機能検査マクロの要件に関する情報は「注意」の節を参照。 説明 mmap() は、新しいマッピングを呼び出し元プロセスの仮想アドレス空間に作成する。 新しいマッピングの開始アドレスは addr で指定される。マッピングの長さは length 引
マルチスレッドのコンテキスト切り替えに伴うコスト - naoyaのはてなダイアリー
また Linux カーネルの話です。 Linux では fork によるマルチプロセスと、pthread によるマルチスレッドでの並行処理を比較した場合、後者の方がコストが低く高速と言われます。「スレッドはメモリ空間を共有するので、マルチプロセスとは異なりコンテキストスイッチ時にメモリ空間の切り替えを省略できる。切り替えに伴うオーバーヘッドが少ない。」というのが FAQ の答えかと思います。 が「オーバーヘッドが少ない」と一言にいわれても具体的にどういうことなのかがイメージできません。そこで Linux のスレッド周りの実装を見て見ようじゃないか、というのが今回のテーマです。 3分でわかる(?) マルチプロセスとマルチスレッド まずはうんちく。マルチプロセスとマルチスレッドの違いの図。以前に社内で勉強会をしたときに作った資料にちょうど良いのがあったので掲載します。Pthreadsプログラミ
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
米Akamai、Linux上のIptabLesおよびIptabLex感染とDDoS攻撃について警告
米Akamai Technologiesは、同社のProlexic Security Engineering & Research Team（PLXsert）を通じて、新しいサイバーセキュリティThreat Advisory（脅威アドバイザリ）を、9月3日（現地時間）に発行した。このアドバイザリでは、Linuxシステム上でのIptabLesおよびIptabLex感染への高いリスクをともなう脅威について警告を発している。 同社は、2014年における最大のDDoS攻撃作戦の1つが、Linuxシステム上のIptabLesおよびIptabLexマルウェア感染に起因するものだと突き止めており、悪意ある攻撃者が、パッチの当たっていないLinuxソフトウェアの既知の脆弱性を利用して、DDoS攻撃を仕掛ける可能性を指摘する。 IptabLesおよびIptabLexの大量感染では、攻撃者が、Apache S
【レポート】ZFS、Linuxで登場へ | エンタープライズ | マイコミジャーナル
ZFS is a new kind of file system that provides simple administration, transactional semantics, end-to-end data integrity, and immense scalability. FreeBSDにZFSが移植されてから、ZFSについてMLで話題がでない日はないほどFreeBSD開発者やユーザの間でZFSが関心ごとであり続けている。もしかするとこれと同じことがLinuxでもおこるかもしれない。GPLとの衝突を避けるためにLinuxにおけるZFS導入はFreeBSDほど導入は簡単にならないが、Linuxでネイティブに使えると使えないのとでは大きな差がある。 9月15日ごろにZFS Linuxカーネルモジュールが公開される可能性があることがPhoronixの記事Native ZFS
LinuxカーネルHack: Btrfsのコードに散りばめられたBUG_ONマクロが示す兆候 - 佐野デジタル研究所
BUG_ONマクロは、Linuxカーネルにおいて、引数に与えられた式を評価した結果が真となることが想定されない箇所(つまり、真ならバグ)で使われる。簡単に言うと、Cのassertのようなもの。ただし、assertよりもきつくて、BUG_ONの引数が真になると、カーネルパニックを引き起こす。つまり、BUG_ONの引数が真になったらカーネルが即死なので、利用には十分に気をつけるべきマクロである。 Btrfsのコードを読み始めて薄々感じていたけれども、BtrfsではこのBUG_ONマクロが過剰なまでに多く使われている。 他のファイルシステムと比べて、どの程度過剰か数字を取ってみた。(数字は、最新のメインラインより計測。tail -n +2は、findの結果の1行目にfsが含まれることで、xargs grepで2重に計測してしまうのを防ぐトリック。BUILD_BUG_ONは、無害とみなした。) 枯
naoyaのはてなダイアリー - tmpfs は本当に容量が動的なのか
Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmpとすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保存したファイルは消えます。) この tmpfs はなかなかに便利で、キャッシュとかそういうものでディスクにおいてたものここ置くと、ディスク I/O がカットできて超高速になります。はてなでは MySQL のスレーブの MyISAM のファイルを tmpfs において、オ
Linuxカーネル開発者、LinuxカーネルからAndroidコード削除について説明 | OSDN Magazine
Linuxカーネル開発者は2月2日、Linuxカーネルから米Googleの「Android OS」のドライバコードを削除した理由について、ブログで説明した。AndroidがLinuxのメインのカーネルツリーから分岐する可能性がありそうだ。 Android向けドライバコードは、2009年12月にLinuxのソースツリーから削除され、Linuxカーネル2.6.33には含まれない。米Novellに籍を置きLinuxドライバのメンテナンスを担当するカーネル開発者、Greg Kroah-Hartman氏によると、サブディレクトリ「drivers/staging/android」をコードベースから削除した理由は、「誰も気にしていないため」という。ステージングツリーにあるコードはメインカーネルツリーにマージするか、そうでなければ削除するというポリシーがあり、それに沿っての対応と説明している。 Kroah
Linuxカーネル 2.6.34リリース、新ファイルシステム対応や電源管理機構の強化など改善点多数 | OSDN Magazine
Linus Torvalds氏は5月16日、Linuxカーネル 2.6.34のリリースを発表した。2月末の2.6.33公開以来、約3か月ぶりのリリースとなる。「特に興味深いものはない」とTorvalds氏は記しているが、新たに2種類のファイルシステムに対応するなど、多数の機能強化が図られている。 ファイルシステムでは、「Ceph」と「LogFS」に新たに対応した。Cephは数ギガバイトから数ペタバイト以上まで、シームレスにスケールできる分散ファイルシステム。信頼性や障害復旧性能、柔軟なメタデータ管理機能などが特徴。LogFSはSSDやUSBメモリといったフラッシュメモリ系ストレージ向けのファイルシステムで、高速なマウントやメモリ（RAM）の利用効率の高さなどが特徴。ただし、現在はまだ実験的サポート段階としている。また、次世代ファイルシステムとして開発が進められている「Btrfs」にも多数の
Free NIC drivers for Solaris
Free NIC drivers for Solaris What's new? 10/10/2008 ife-2.6.1 was released 10/5/2008 atge-2.6.1 was released 8/24/2008 myk-2.6.2 was updated 8/18/2008 atge-2.6.0 was released 6/30/2008 myk-2.6.1 was updated 4/20/2008 ae-2.6.1 was updated 4/20/2008 myk-2.6.0 was updated 4/16/2008 sige-2.6.2 was updated 3/1/2008 vel-2.6.0-was updated CAUTION: They are NO WARRANTY and distributed under the BSD licens
Linux開発は活動はさらに活発化、開発者は年10％増、1日約1万行が追加 | OSDN Magazine
非営利団体Linux Foundationは8月19日（米国時間）、Linuxカーネル開発に関する最新の調査結果を発表した。Linuxカーネル開発に関わる開発者は1年4か月で10％増加し、1時間に5.45件のパッチが承認されるなど、活動がさらに活発化していることがわかった。 調査では、Linuxカーネル2.6.24から2.6.30までのカーネル開発の実態を調べた。2008年4月に同団体が発表した報告書の改訂版として、「Linux Kernel Development: How Fast is it Going, Who is doing it and Who is Sponsoring it？」というタイトルでLinux FoundationのWebサイトで公開されている。 前回の調査から1年4か月の間で、Linuxカーネルには270万行が加わった。平均すると1日に10923行が加わり、5
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux 3.10 が長期サポートカーネルに | ニコニコニュース
OpenZFS on Linux