タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
「Linuxのネットワークスタックが遅すぎる！」 詳細はわかりませんが、すごくエンジニアステージが高そうですね！ネットワークスタックの高速化は多くの前例があり、中途半端に試すと、周辺の詳しい人に一晩中、指導をうけるはめになりかねません。前例のないRustなら安心です。 典型的な高速化手法広く使われている高速化手法は、オペレーティングシステムのプロトコルスタックを使わずに、サーバアプリケーションが直接、NICにアクセスして、パケットを処理するというものです。Linuxの上で、FreeBSDのプロトコルスタックとサーバアプリケーションを統合するという、謎の組み合わせを運用しているクラウド事業者もいます。 上記の高速化手法のポイントの一つが、アプリケーションが、高速に、NICにアクセスするための手法です。たくさん提案されてきましたが、今回は、現在、人気があるXDPを使うことにします。聞いたことが
XDP入門
こんにちは．閃光のハサウェイが配信開始されたので早速視聴しました．メッサーがいいですね． 前回もXDP関連の話題でしたが，今回はXDPに入門します． XDPを学習する際のロードマップやつまりどころの解消になればと思います． # 2023-12-30 加筆 本記事を公開して約 2 年が経過しました. この加筆で古くなってしまった情報を修正しています. 差分は このブログの Github の PR (opens new window) を見てください. この 2 年間で eBPF 及び XDP への注目はさらに高まったように感じます. 取得できる情報も充実してきました. 特に O'reilly より発売された 入門 eBPF (opens new window)(原書: Learning eBPF (opens new window)) は非常に充実した内容になっています. 日本語でこれらの情
にゃんこそば⛅データ可視化 on Twitter: "東京・大阪の休日の人の流れを可視化してみる。出典はagoop流動人口ポイントデータ(https://t.co/YV6XdP1S1a) 首都圏では東京と郊外が放射状に繋がっているのに対して、近畿では帯状に都市が連なっていて、なぜ大… https://t.co/adzG9Pk5E4"
東京・大阪の休日の人の流れを可視化してみる。出典はagoop流動人口ポイントデータ(https://t.co/YV6XdP1S1a) 首都圏では東京と郊外が放射状に繋がっているのに対して、近畿では帯状に都市が連なっていて、なぜ大… https://t.co/adzG9Pk5E4
この記事は BBSakura Networks Advent Calendar 2023の12/14の記事になります。 まえおき こんにちは。BBSakura Networksでアルバイトをしている 梅田です。 私は情報学部の大学1年生です。 私は今までBGPやRoutingに触れてきました。 しかし、今の時代はネットワークだけではなく、ソフトウェアの開発・利用ができることが求められていると感じています。 そのなかで、私が特に興味を持っているソフトウェアによる高速パケット処理に趣味で入門した話について今回書きたいと思います。 モチベーション 私はAS59105 Home NOC Operators' Group(以下HomeNOC)に加入しています。 HomeNOCとは、インターネットに接続する自律システム AS59105を運用している団体です。 また、AS59105を運用するだけではなく
はじめに この記事はBBSakuraNetworkアドベントカレンダーの5日目です。 自分はBBSakuraでアルバイトをしている大学生です。 さくらでバイトをしていたところ気がついたら出向していて今はコアモバイルの開発に携わっています。アルバイトに出向ってあるんですね。びっくり。 今はB3なのでそろそろ大学で研究しないといけなくて焦りを感じてます。 さて、今回話すのは自分の趣味の話をします。 eBPF と言われるパケット処理のための処理技術があるのですがそれが好きで、最近はBPFを利用した高速パケット技術の手法としてXDPを追いかけています。今回はそれを始めるにはどうすればいいかをみたいな話を紹介したいと思います。 対象読者としては高速パケット処理をやりたいけど、どうすればいいかわからない！って人をターゲットにしてます。始めるときにみると手引きみたいなknowledgeを目指します（自分
XDPメモ（アーキテクチャ、性能、ユースケース）
はじめに# The eXpress data path: fast programmable packet processing in the operating system kernel 1 を読んだ。 この文章はほとんどこの論文をもとに書いたが、一部ニュース記事を引用している。 eBPF／XDPが流行っているということは、BCC、bpftrace、Facebook Katran、Cloudflare Gatebot などeBPF／XDPを使うプロジェクトのGithub Star数から感じ取れる。 eBPF／XDPには、特殊なハードウェア・ソフトウェアに依存せず、 カーネルの仕掛けとして高速パケット処理を実現できるという強力なメリットがある。 一方であまり弱点を主張するような記事は見当たらないので、実際のところどうなのか感触を知りたい。 XDPを使うとNICデバイスドライバのコンテキス
XDPでPacket Rewriting – MySQLのポートを書き換える - GMOインターネットグループ グループ研究開発本部
次世代システム研究室のS.T.です。今回はLinuxカーネルに実装されているパケット処理基盤XDPで，特定ポート宛て通信の宛先ポート書き換えを試してみます。MySQLは脇役です。 はじめに XDPとは XDP（eXpress Data Path）はLinux kernel 4.8から実装された<fn>BPF Features by Linux Kernel Version</fn>パケット処理基盤です。古くからカーネルに実装されているパケットフィルタであるBPFを拡張して，カーネル内部の関数にアタッチしてメトリクス収集などを行えるようにしたeBPFを，ネットワークデバイスのドライバに近い関数に適用可能にしたもの，というとイメージがつきやすいかと思います。図1のようなイメージでパケットを処理します。XDPを使うと，カーネルのプロトコルスタックに入る前のパケットを参照・改変することができるため
モバイルネットワークのデータプレーンをXDPで作る話 / XDP based Mobile Network Data Plane
モバイルネットワークのデータプレーンをXDPで作る話 / XDP based Mobile Network Data Plane
tc/BPF and XDP/BPF
What is eBPFReference: bpf The extended Berkeley Packet Filter (eBPF) has first appeared in Kernel 3.18. The original version is being referred to “classic” BPF (cBPF) . cBPF is known to many as being the packet filter language used by tcpdump. Nowadays, the Linux kernel runs eBPF only and loaded cBPF bytecode is transparently translated into an eBPF representation in the kernel before program exe
AF_XDPアプリケーション性能特性の定性的評価 〜レイテンシ編 - VA Linux エンジニアブログ
1. はじめに 2. 環境 3. 前提 4. AF_XDP (zerocopy) アプリケーション 4-1. アーキテクチャ 4-2. レイテンシ特性 4-2-1. 特性 4-2-2. チューニング (a). 一般的なirq_exitからのSoftIRQ実行及びksoftirqdによる実行双方に共通する項目 (b). ksoftirqdに限定される項目 4-3. スループット特性 5. まとめ 執筆者 : 田 幸一郎 1. はじめに 近年活発に開発が進んでいるAF_XDPを利用したアプリケーションは、（skbを持ち回してプロトコルスタックを駈け登る/駆け下りる）Linux Kernel Network Stackをバイパス出来るという観点で、DPDKを活用したアプリケーションと比較されることが少なからずあるかと思います。普通この2つの要素技術を比較検討する際、スループット性能に焦点が当たる
XDPの最新動向とLINEにおける取り組み事例 / Recent updates on XDP
エムスリーエビデンス創出プロダクトチーム紹介資料 / Introduction of M3 Create Evidence Team
これは JANOG LT のフォローアップブログです。 Go+XDPな開発何も説明できなかったことに気がついたので書きました。 SRv6,GTPv1,XDPの大まかな説明は世の中に神な資料があるので特に説明はしません。 もしebpfとはなんぞなどの疑問がある方は janog 45 パケット処理の独自実装や高速化手法の比較と実践 拙作のブログ: 今日から始めるXDPと取り巻く環境について などを合わせて見ていただけるといいと思います。 TL;TR Go+XDPな開発をしたいなら cilium/ebpf を使うといい https://github.com/takehaya/goxdp-templateという雛形を作ったので始めるときに参考にして欲しい。 GoでXDPをやるときの選択肢と最近の利点 Goを利用する際の開発においての選択肢は以下のようにいくつかあります。 newtools/ebpf
XDP for Game Programmers
I'm Glenn Fiedler and welcome to Más Bandwidth, my new blog at the intersection of game network programming and scalable backend engineering. What's this new blog about? Games with thousands of players. Virtual worlds. Performance in virtual spaces to an audience of millions. The Metaverse (no, not THAT metaverse, the real metaverse, sans blockchain). Overlay worlds in AR. Telepresence and remote
BPF_PROG_TEST_RUNでXDPプログラムの挙動をテストする - yunazuno.log
eBPFには BPF_PROG_TEST_RUN と呼ばれる機能がある。これを活用すると、XDPやtc-bpf(8)向けに実装したパケット処理プログラムの挙動をテストすることができる。 BPF_PROG_TEST_RUN? BPF_PROG_TEST_RUNはbpf syscall経由で使用できる1機能。テストしたいeBPFプログラムとパケットのバイト列を入力として与えると、実行結果の返り値と処理後のパケットバイト列、および処理にかかった時間が出力として得られる。このとき、テスト対象のプログラムは実際にネットワークインタフェースにアタッチされるわけではないので、実行環境に影響を与えることなくテストを遂行できる。 lwn.net libbpfに bpf_prog_test_run() というラッパ関数が用意されているので、実用上はこれを経由して使用するのが便利。 libbpf/bpf.c a
#seccon ワークショップ＠福岡でeBPF/XDPベースのファイアウォールとロードバランサーに入門してきた | DevelopersIO
クラウドネイティブ界隈でよく耳にするCNI(Container Network Interface)・L4ロードバランサーのCilium、そしてランタイムセキュリティツールのFalcoでは、eBPF(Extended Berkeley Packet Filter)およびeBPFを活用したXDP(eXpress Data Path)の技術が非常に重要な役割を果たしています。 みんな大好き、『詳解 システム・パフォーマンス』や "BPF Performance Tools" の著者である現IntelのBrendan Gregg ニキは、eBPFとLinuxカーネルの関係はJavaScriptとウェブサイトの関係と同じだと発言しています。 近年、重要度が高まっているeBPF/XDPをワークショップ形式で学べるSECCONのイベントが地元福岡の九州大学で開催されましたので、レポートします。 ワーク
XDPはLinux kernel内で動作する、eBPFを用いたパケット処理基盤である。LinuxのNetworkStackの処理に入る前に処理を入れることができて強い。 詳しくは以下のスライドが参考になる。 一般に、P4とはペルソナ４の略であるが、ネットワーク業界におけるP4とはどういうヘッダのパケットをどう転送するかみたいなことが自由に記述できる言語である。 日本語の良さげな資料がなかったので、公式ページとか見てほしい。 どのくらい自由かというと、p4対応のスイッチでなんか計算組み込めちゃうくらい自由である。 # ちょうどCiscoさんが2日前にP4について投稿してくれていたようです。 # https://qiita.com/tkamata/items/4f26e83fdb7f00982009 p4c-xdp p4c-xdpはp4のコードをXDPのコードに書き換えてくれるコンパイラ(?)
GitHub - takehaya/Vinbero: A complete subset of SRv6 local function & transit written in XDP
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxのネットワークスタックが遅すぎる？RustとXDPでパケット処理！
趣味でXDPに入門してEtherIPを実装してみた - BBSakura Networks Blog
今日から始めるXDPと取り巻く環境について - お腹.ヘッタ。
パケット処理の独自実装や高速化手法の比較と実践 独自パケット処理の実装方法の解説（XDP）
Go+XDPな開発を始めるときに参考になる記事/janog LT フォローアップ - お腹.ヘッタ。
P4 & XDP（VxLANの中身でフィルタリングしてみる） - Qiita
news.ntv.co.jp
news.livedoor.com
www.bousaid.com
note.com/hogehoge_ykt
j-seiji.blog.jp
shueisha.online