TCP Socket Listen: A Tale of Two Queues (2022) Published at 2022-08-28 | Last Update 2022-12-30 TL; DR This post digs into the design and implementation of the TCP listen queues in Linux kernel. Hope that after reading through this post, readers will have a deeper understanding about the underlying working mechanism of TCP/socket listening and 3-way handshaking, as well as related kernel configura
Highlights from Git 2.43
The open source Git project just released Git 2.43 with features and bug fixes from over 80 contributors, 17 of them new. We last caught up with you on the latest in Git back when 2.42 was released. To celebrate this most recent release, here is GitHub’s look at some of the most interesting features and changes introduced since last time. New features in git repack In Git 2.43, git repack learned
BPF というと、memcached を速くするとか、Ruby からコンパイルするとか、まず高度な話題を見かける2021年だけど、BCC についてくる色々なスクリプトを使うだけでも、色々とトラブルを解決できることがある。 opensnoop opensnoop は文字通りシステムで発行されている open(2) をリアルタイムに覗き見できるツールだ。 去年に containerd/cgroup でメトリクスが来ないバグを直したときには、そもそも最初はこのパッケージまで絞り込めてなくて、 なんかメトリクスが来ないんだけど… このメトリクスって /sys/gs/cgroup/blkio 以下のファイルから来てるんだよね? これって containerd 本体が読んでるんだっけ? 多分 shim のほうだとは思うんだけど… runc が読んでるってことはないよねえ? ファイルは読まれているけど、
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号)
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号) Neco Weekly (2023-07-14号) サイボウズ Neco チームでは、 Neco Weekly という「最近気になる Kubernetes や Cloud Native 関連のネタを共有する会」を社内で開催しています。 本記事は共有会の中で紹介したネタをまとめたものです。 今回は第37回目の記事となります。 👀 Notable Articles 🌟Kubernetes SidecarContainers feature is merged🌟 Kubernetes v1.28 で、サイドカーコンテナーが標準機能としてサポートされるようになります。 これまでもサイドカーコンテナーは通常のコンテナとして定義して利用することができたのですが、v1.28
Today the Calico team merged a new dataplane option to Calico, based on eBPF, the Linux kernel’s embedded virtual machine. This exciting new dataplane will be included as a Tech Preview capability in the next version of Calico, v3.13. If you aren’t already familiar with the concept of eBPF, it allows you to write mini programs that can be attached to various low-level hooks in the Linux kernel, fo
Let's build a simple system calls monitoring dashboard using bpftrace and streamlit
% time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 49.67 0.000301 301 1 execve 14.69 0.000089 11 8 mmap 6.44 0.000039 13 3 openat 4.46 0.000027 9 3 mprotect 4.46 0.000027 6 4 newfstatat 3.47 0.000021 5 4 pread64 3.14 0.000019 19 1 munmap 2.81 0.000017 8 2 close 2.64 0.000016 5 3 brk 2.15 0.000013 6 2 read 2.15 0.000013 13 1 1 access 1
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
QCX 5W CW Kit（製作） - JH1LHVの雑記帳
４年近く積キットになっていた QRP Labs の "QCX 5W CW transceiver kit" の組み立てが終了しました。 qrp-labs.com 調整終了後の完成写真 ちなみに、今回製作した QCX kit は、2020/5/14 に QCX+ kit に置き換えられており、この新たなバージョンで販売は続けられています。 製作開始前の開封 今もこういうスタイルで配送されてくるかは不明です。 日本在住の外国人代行者から、こういう小さな箱で届きました。 先日作った中華キットに比べたら・・・ホント、丁寧な梱包です。 基板のバージョン確認 基板のバージョンによってドキュメントの内容に若干の違いがあるので、まず PCB バージョンを確認する必要があります。 PCB バージョンは基板右端に番号で示されております。 本キットは PCB rev2 ということになります。 ドキュメントや製作
Why We Switched from BCC to libbpf for Linux BPF Performance Analysis | PingCAP
Author: Wenbo Zhang (Linux Kernel Engineer of the EE team at PingCAP) Transcreator: Caitin Chen; Editor: Tom Dewan Distributed clusters might encounter performance problems or unpredictable failures, especially when they are running in the cloud. Of all the kinds of failures, kernel failures may be the most difficult to analyze and simulate. A practical solution is Berkeley Packet Filter (BPF), a
Cloudflare has sophisticated DDoS attack mitigation systems with multiple layers to provide defense in depth. Some of these layers analyse large-scale traffic patterns to detect and mitigate attacks. Other layers are more protocol- and application-specific, in order to stop attacks that might be hard to detect from overall traffic patterns. In some cases, the best place to detect and stop an attac
Live-patching security vulnerabilities inside the Linux kernel with eBPF Linux Security Module
Live-patching security vulnerabilities inside the Linux kernel with eBPF Linux Security Module2022-06-29 This post is also available in 简体中文 and 繁體中文. Linux Security Modules (LSM) is a hook-based framework for implementing security policies and Mandatory Access Control in the Linux kernel. Until recently users looking to implement a security policy had just two options. Configure an existing LSM m
By cutting unnecessary processes, you can realize near-real-time container startup, critical in cars and other time-sensitive applications. In August 2022, Dan Walsh (one of the authors of this article) moved out of his role as container runtimes architect at Red Hat to architect for the Red Hat Enterprise Linux (RHEL) for Edge team. Specifically, he has moved to the Red Hat In-Vehicle Operating S
この記事は BBSakura Networks Advent Calendar 2023 の 25 日目の記事です。 こんにちは。BBSakura でソフトウェアエンジニアをしています早坂(@takemioIO|@gtpv2) と申します。 普段はモバイル開発グループという組織でモバイルコアの開発・運用をしていますが、その傍ら技術広報活動もしています。 技術広報に関しては 1日目の記事 で弊社のみずきさん(@n0mzk|@n0mzk.bsky.social)が書いていますのでぜひご覧ください。 そして自分はこのアドベントカレンダーの主宰もやっております。 今年で（学生時代のアルバイトから数えて）3 回目の主宰ですが、なんと今回は誰かが記事を無理やり 2,3 本書かずとも無事達成しました。 今年もBBSでアドカレやります。 アドカレの主催も3回目にもなると人を集めるのにも慣れたもので、（？）
Magic Firewall is Cloudflare’s replacement for network-level firewall hardware. It evaluates gigabits of traffic every second against user-defined rules that can include millions of IP addresses. Writing a firewall rule for each IP address is cumbersome and verbose, so we have been building out support for various IP lists in Magic Firewall—essentially named groups that make the rules easier to re
Summary libbpf-rs provides safe Rust bindings to libbpf as well as a cargo plugin to help you develop “Compile Once - Run Everywhere” eBPF applications. Use libbpf-rs over BCC to produce smaller, more efficient, and more predictable applications. Background eBPF (BPF) programs have traditionally been written using BPF compiler collection (BCC). The application would then call into BCC using the C+
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Exploring BPF ELF Loaders at the BPF Hackfest By Lorenz Bauer / Alban Crequy · October 9, 2018 Just before the All Systems Go! conference, we had a BPF Hackfest at the Kinvolk office and one of the topics of discussion was to document different BPF ELF loaders. This blog post is the result of it. BPF is a new technology in the Linux kernel, which allows running custom code attached to kernel funct
What is retsnoop? In short, retsnoop is a BPF-based tool for non-intrusive mass-tracing of Linux kernel internals. Retsnoop's official summary gives a pretty good overview of why it exists in the first place, so I'll quote it in full: Retsnoop's main goal is to provide a flexible and ergonomic way to extract the exact information from the kernel that is useful to the user. At any given moment, a r
Linus Torvalds氏は1月26日、Linuxカーネルの最新版「Linuxカーネル5.5」の公開を発表した。 Linuxカーネル5.5は2019年11月末に公開されたバージョン5.4に続く最新版。2020年初のリリースであり、7回のリリース候補（RC）公開を経ての正式版となった。 ファイルシステムBtrfsで、RAID1C34として2つのブロックグループプロファイルが加わった。これにより、RAID1で対応するコピーの数が2つから3、4に拡大される。また、新しいchaecksumsのサポートも加わり、暗号学的ハッシュもsha256とblake2bが加わった。並列処理も強化し、最大で80％の高速化が測れるという。 ファイルシステムではCIFSをルートファイルシステムとして使用できるようになった。マルチチャンネルのサポートも加わり、クライアントが複数のTCP接続上で同一のSMBセッション
Evil eBPF Practical Abuses of an In-Kernel Bytecode Runtime Jeff Dileo DEF CON 27 call_usermodehelper("/bin/sh",(char*[]){"/bin/sh","-c","whoami",NULL},NULL,5) • @chaosdatumz • Agent of chaos • Unix aficionado • Principal Consultant / Research Director @ NCC Group • I like to do terrible things to/with/in: • programs • languages • runtimes • memory • kernels • packets • bytes • ... Outline • Intro
Pythonで音声データを加工し，出力する方法 音声データの加工（ローパスフィルタとハイパスフィルタ） 音声データは，一般に様々な周波数の振動から構成されています。下の図は私が「あいうえお」とゆっくりマイクに向かって喋った音声の波形とその振幅スペクトルです（この図の作り方は前回の記事で紹介しています）。振幅スペクトルを見るといくつかのピークが見られます。 音声データに限らず，時系列データを取り扱う場面では，ある領域の周波数成分のみを取り出してデータを加工したいことがあります。これを実現するのがフィルタリング操作です。 低い周波数成分のみを取り出すフィルタをローパスフィルタ (low-pass filter: LPF)，高い周波数成分のみを取り出すフィルタをハイパスフィルタ(high-pass filter: HPF)といいます。 また，低いとか高いとかではなく，ある領域の周波数成分のみを通
GDBは、Ada／C／C++／Fortran／Go／Rustをはじめとする、数多くのプログラミング言語に対応した、ソースレベルのデバッガ。さまざまなプラットフォームに対応しており、GNU／Linux、UNIX、Windowsで動作する。 「GDB 10.1」では、BPFのデバッグに対応したほか、ARC GNU／LinuxとRISC-V GNU／LinuxにおけるGDBserverをサポートしている。 ほかにも、debuginfodや、64ビット版Windows GDBを使用した32ビットWindowsプログラムのデバッグ、GNU Guile 3.0および2.2を使用したGDBの構築をサポートするとともに、スレッドによる起動時のパフォーマンス向上、PythonおよびGuile APIデバッグ時のさまざまな機能強化、TUIモードにおける修正と機能強化、試験的なマルチターゲットデバッグのサポート
bpf-core
BPF CO-RE (Compile Once – Run Everywhere) Andrii Nakryiko Data center Developing BPF application (today) #include <linux/bpf.h> #include <linux/filter.h> int prog(struct __sk_buff* skb) { if (skb->len < X) { return 1; } ... } bpf.c embed #include <bcc/BPF.h> std::string BPF_PROGRAM = #include ”path/to/bpf.c” namespace facebook { . . . } DrivingApp.cpp compile App package LLVM/Clang libbcc DrivingA
GitHub - pathtofile/bpf-pipesnoop: Example program using eBPF to log data being based in using shell pipes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
WSL2標準kernelでZFS - Qiita
ZFSモジュール WSL2標準kernelに組み込めるZFSモジュールの作り方。 ZFS有効なカスタムカーネルを作る方法はここを、WSL2標準kernelのソースコードでビルドする方法はここ、dxgkrnl有効カーネルを作る方法はここを参照。 zfsモジュールのビルドスクリプト。 スクリプトの93行目をコメントアウトすると、5.15.79.1以降で "BPF:[134983] FWD" エラーによるモジュールロードに失敗しなくなる(正しい方法かどうかは不明)。 カーネルとモジュールを同じツールチェインでビルドすれば BPF のエラーは出なくなる。 build_wsl_module.sh #!/bin/sh set -xe #ZFS_VERSION="2.1.2" #ZFS_VERSION="2.1.3" #ZFS_VERSION="2.1.4" #ZFS_VERSION="2.1.5" Z
Firefox and Chromium | Madaidan's Insecurities
Last edited: March 19th, 2022 Firefox is sometimes recommended as a supposedly more secure browser because of its parent company's privacy practices. This article explains why this notion is not true and enumerates a number of security weaknesses in Firefox's security model when compared to Chromium. In particular, it covers the less granular process model, weaker sandboxing and lack of modern exp
ハードシンセとソフトシンセが完全連動、デジタルもアナログも搭載する超強力で幅広い音作りができるArturia MiniFreak｜DTMステーション
そのオシレーターが2つあり、それぞれをミックスさせて鳴らすこともできるし、掛け合わせて鳴らすといった複雑な使い方も可能です。その信号がフィルタに届くのですが、ここは完全なアナログ。LPF、BPF、HPFの3種類から選択でき、カットオフ、レゾナンスなどのパラメータで音を変化させていくのです。 フィルタはアナログ回路が搭載されており、LPF、BPF、HPFの3種類から選択可能 非常に自由度の高い、モジュレーションマトリックスを装備 さらに3系統のデジタルエフェクトが搭載されていたり、LFO、エンベロープジェネレータ、サイクリング・エンベロープ……といったものが搭載されているほか、アルペジエーターやステップシーケンサがあるなど、かなりバリエーション豊富な音作りが可能になっているのですが、なかでも大きな特徴になっているのが、本体左上にあるモジュレーションマトリックスです。7つのソースと13 のデス
BPFプログラムの作成方法、BPFの検証器、JITコンパイル機能：Berkeley Packet Filter（BPF）入門（3）（1/3 ページ） Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載。今回は、BPFプログラムの作成方法、BPFの検証器、JITコンパイル機能について解説します。 Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載「Berkeley Packet Filter（BPF）入門」。初回は、BPFの歴史や概要について解説し、前回はBPFの基礎として、Linuxで用いられるBPFのアーキテクチャなどを説明しました。 今回は、BPFプログラムの作成方法、BPFの検証器、JITコンパイル機能
AWS re:Invent 2019: [REPEAT 1] BPF performance analysis at Netflix (OPN303-R1)
Extended BPF (eBPF) is an open-source Linux technology that powers a whole new class of software: mini programs that run on events. Among its many uses, BPF can be used to create powerful performance-analysis tools capable of analyzing everything: CPUs, memory, disks, file systems, networking, languages, applications, and more. In this session, Netflix's Brendan Gregg tours BPF tracing capabilitie
![AWS re:Invent 2019: [REPEAT 1] BPF performance analysis at Netflix (OPN303-R1)](https://cdn-ak-scissors.b.st-hatena.com/image/square/3bed682182c8e19143541197846876c44ccb4048/height=288;version=1;width=512/https%3A%2F%2Fi.ytimg.com%2Fvi%2F16slh29iN1g%2Fhqdefault.jpg)
What does it mean for a BPF application to be portable? And why it's actually hard to achieve that without BPF Compile Once — Run Everywhere (CO-RE)? In this post we'll see what are the challenges of writing BPF programs that can work across multiple kernel versions and how BPF CO-RE is helping to address this problem. This post was originally posted on Facebook's BPF blog. If you are curious abou
Andrii Nakryiko's Blog
Andrii Nakryiko's Blog Technical stuff about things I work on Hi! My name is Andrii and this is my personal blog. I've started my career in distributed systems, building EventStoreDB from scratch, then working on AWS Route53 service, and building serverless platform at Uber. Eventually I moved into a lower levels of software stack, building profiling tooling and ended up as a kernel engineer at Fa
Have you always wanted to learn how to implement tracepoints in the Linux Kernel? Then this blog is for you. Oracle Linux kernel engineer Alan Maguire explains how to implement a tracepoint in the Linux kernel. Here we are going to describe what tracepoints are, how they are defined and finally demonstrate the various ways they can be used. By fleshing out all of the steps, I'm hoping others may f
OSSのセキュリティや開発ツール、実行基盤などの最前線の最新情報・動向が得られる ―「DevConf.cz 2020」レポート
OSSのセキュリティや開発ツール、実行基盤などの最前線の最新情報・動向が得られる ―「DevConf.cz 2020」レポート 「DevConf.cz」は、チェコのブルノ(Brno)にてRed Hatをスポンサーとして毎年開催されているOSSコミュニティイベントだ。Red Hatのコミュニティ開発者が一堂に会する場でもあるため、同社が主導するOSSプロジェクトであるOpenShift、Fedora、JBoss等の開発の最前線を体感できるイベントである。 今年は、2020年1月24～26の3日間、ブルノ工科大学(Brno University of Technology)のキャンパスにて開催された。3日間で273のセッションがあり、最新の技術紹介からコミュニティの運営まで幅広い分野が取り扱われた。約1600人が参加し、終始会場はにぎわっていた。また、参加のための事前登録が登録開始からわずか3
今年はDay1のみリアタイ参戦したのでいくつかセッションのメモを。 内容は全部見ればわかるやろ程度ではあるもののまあポインタ程度の情報でもないよりは良いのではということで感想交えて雑に書いてみようという感じのやつです。 動画はすでに上がっていて個別のセッションはYouTube字幕もすでについていてセッションだけをみるならそちらがよい、QA含めてみるためにはDay1,2それぞれ全部入りの動画をみればおっけーという感じ。ただしDay1のeBPF for Windowsは若干音声まわりのトラブルがあったのでセッション個別はそちらを参照する方がおすすめです。 全体的な雰囲気とか所感とか eBPF Summit自体は初回からオンライン開催、事前収録+リアルタイムQAスタイルでコミュニケーションはslack、trackも一本なのであっちこっち移動したりスポンサー的な何かがあったりはしないのでここに集中
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TCP Socket Listen: A Tale of Two Queues (2022)
BCC に入っている opensnoop が便利 - blog.8-p.info
The BPF-programmable network device
Introducing the Calico eBPF dataplane | Tigera
Brendan Gregg's Homepage
Raking the floods: my intern project using eBPF
How we achieved a 6-fold increase in Podman startup speed
MPTCPのスケジューラーをeBPFで書けるようになった話 - BBSakura Networks Blog
Optimizing Magic Firewall’s IP lists
libbpf-rs: eBPF for the Rust ecosystem
Linux MySQL Slow Query Tracing with bcc/BPF
Kinvolk: Exploring BPF ELF Loaders at the BPF Hackfest
Tracing Linux kernel with retsnoop
Linuxカーネル5.5リリース、多くの新規ハードウェアサポートが追加される | OSDN Magazine
DEF CON 27 Hacking Conference Presentation
【Python】音声データの加工（フィルタリング操作）と書き出し【pydub】 - LabCode
GNUが「GDB 10.1」をリリース、マルチターゲットデバッグのサポートを試験導入
BPFプログラムの作成方法、BPFの検証器、JITコンパイル機能
BPF CO-RE (Compile Once – Run Everywhere)
Taming Tracepoints in the Linux Kernel
eBPF Summit 2021 - ださろぐ@はてな