BPF binaries: BTF, CO-RE, and the future of BPF perf tools
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Weaver PLEASE READ! – I am currently refactoring Weaver to use libbpf instead of bcc which would include various other major improvements. If you’re currently using weaver please be aware that features/bug fixes are being held off until the major refactor occurs. This will be tracked in the branch “refactor” Weaver is a CLI tool that allows you to trace Go programs in order to inspect what values
Why Don't You Use ...
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Linuxのsysctlパラメタにはスケジューラ関係のものがいくつかあります。一部については以下の記事で解説しています。 スケジューラに関するパラメタのうち、以下のものはv5.13以降で廃止され、同じことをするパラメタがdebugfs(Ubuntu20.04の場合は"/sys/debug/sched"以下に存在)に追加されました。 sched_min_granularity_ns sched_latency_ns sched_wakeup_granularity_ns sched_tunable_scaling sched_migration_cost_ns sched_nr_migrate numa_balancing_scan_delay_ms numa_balancing_scan_period_min_ms numa_balancing_scan_period_max_ms num
イーサリアムキラーの本命？Solanaのプログラムを作って遊んでみる！ - FLINTERS Engineer's Blog
こんにちは。菅野です。 今年も暗号資産界隈は話題に事欠かないですね！ その仕組みを支えているのはブロックチェーンです。 最近もAmazonやGoogleが注力している分野の一つです。 そして2021年に最もホットで技術的に魅力なブロックチェーンといえばSolanaでしょう！ Solanaって？ solana.com 詳しくはググってほしいのですが、簡単に言うと トランザクションのスループットがとても高い ゆえにトランザクション手数料も安く済む Rustでスマートコントラクト(Solanaではプログラムと呼ぶ)が書ける のような技術的な特徴があります。 私はEthereumやEOSのスマートコントラクトを作って遊んだことがあります。 でも、EthereumはSolidityというあまり馴染みのない言語で書く必要があり、EOSはwasmにコンパイルすることでRustで書くことが出来ましたがRu
Ubuntuで任意のバージョンのLinux Kernelにする - Islands in the byte stream
追記: ツールはこちらの getkernel がメンテされているのでこちらを使うほうがいいでしょう！ ubuntu用のカーネルをとってくるやつ - w_tl00’s blog Ubuntuなどのディストリは、ディストリに同梱されたカーネルを別のバージョンに差し替えることができます。開発者の視点では、たとえばLinuxのBPFを使ったツールを開発しているときはカーネルのバージョンを本番に合わせたほうがよかったりします。 Ubuntu用のカーネルのパッケージは https://kernel.ubuntu.com/~kernel-ppa/mainline/ のあたりにあって、適切なアーキテクチャのものをダウンロード＆インストールするだけなんですが、ダウンロードするのがわりと面倒くさいのでスクリプトを書きました。 ./get-kernel 4.19.106 などとするとカレントディレクトリにパッケ
XDPメモ（アーキテクチャ、性能、ユースケース）
はじめに# The eXpress data path: fast programmable packet processing in the operating system kernel 1 を読んだ。 この文章はほとんどこの論文をもとに書いたが、一部ニュース記事を引用している。 eBPF／XDPが流行っているということは、BCC、bpftrace、Facebook Katran、Cloudflare Gatebot などeBPF／XDPを使うプロジェクトのGithub Star数から感じ取れる。 eBPF／XDPには、特殊なハードウェア・ソフトウェアに依存せず、 カーネルの仕掛けとして高速パケット処理を実現できるという強力なメリットがある。 一方であまり弱点を主張するような記事は見当たらないので、実際のところどうなのか感触を知りたい。 XDPを使うとNICデバイスドライバのコンテキス
Bytecode VMs in surprising places
April 30, 2024 In response to a question on Twitter1, Richard Hipp wrote about why SQLite uses a bytecode VM for executing SQL statements. Most people probably associate bytecode VMs with general-purpose programming languages, like JavaScript or Python. But sometimes they appear in surprising places! Here are a few that I know about. eBPF Did you know that inside the Linux kernel, there’s an exten
ミクシィには、探究心溢れるエンジニアがたくさん在籍しています。 その探究心は業務で扱う技術にとどまらず、趣味で書いているプログラムだったり、個人的に研究している言語だったりと、自身の気になった技術への追求も留まることを知りません。 そこで、社内のエンジニアに“好きな技術”について、思う存分に語ってもらうシリーズを始めました。 ルールはこの通り。 業務で使っている技術でも、使われていない技術でもOK あくまでも個人的な見解で その技術のどこが面白いのか 愛を込めて語り尽くしてもらう 第1回目は、システム運用を自動化できるのではないかと期待されている「Kubernetes」について、サーバーエンジニアの浅野に語ってもらいました。 浅野 大我（あさの たいが） 2020年に新卒として入社し、『モンスターストライク』のサーバーサイド開発を担当。GoやKubernetesに興味があり、趣味でも自宅K
Update: since I wrote this post, I've been working on a new eBPF library for Rust called Aya, see https://confused.ai/posts/announcing-aya. If you're looking to use eBPF with Rust, I highly recommend you check it out! I originally wrote an earlier version of this post at the end of March, when I was working on adding uprobes support to redbpf. I wanted to blog about the work I was doing and needed
Production ready eBPF, or how we fixed the BSD socket API
Production ready eBPF, or how we fixed the BSD socket API02/17/2022 As we develop new products, we often push our operating system - Linux - beyond what is commonly possible. A common theme has been relying on eBPF to build technology that would otherwise have required modifying the kernel. For example, we’ve built DDoS mitigation and a load balancer and use it to monitor our fleet of servers. Thi
Production では BCC より libbpf + BPF CO-RE を使う方が良い - kenju's blog
"Why We Switched from BCC to libbpf for Linux BPF Performance Analysis 2020" に書いてあるとおりなのだが、BCC (BPF Compiler Collection) ではなく、libbpf + BPF CO-RE の組み合わせを使うほうが好まれる。 なぜかというと、BCC のアーキテクチャ上、BPF Program を実行するために Clang/LLVM および trace に必要な Linux kernel headers file を埋め込む必要があるのだが、それがプログラム起動時に必要な CPU/Memory リソースを押し上げる要因、及び BPF Program 開発時のビルドプロセスや Debugging の複雑化に繋がっているからだ。 NOTE: 大抵の場合、Clang, LLVM および Linux
本文の内容は、2023年1月17日にNIGEL DOUGLAS が投稿したブログ（https://sysdig.com/blog/top-15-kubectl-plugins-for-security-engineers/)を元に日本語に翻訳・再構成した内容となっております。 誰にとっても、特にセキュリティエンジニアにとって非常に有用であると強く感じるこのKubectlプラグインのリストを、さらに掘り下げてみましょう。 Kubernetesは、設計上、信じられないほどカスタマイズが可能です。Kubernetesは、特定のユースケースシナリオのためのカスタム構成をサポートしています。そのため、基本的な機能にパッチを適用する必要がありません。プラグインは、Kubernetesの機能を拡張し、アウトオブボックスの提供を実現する手段です。 Kubernetesプラグインとは何ですか？ Kubern
Kernel Pwning with eBPF: a Love Story - Blog | Grapl
By: Valentina Palmiotti, @chompie1337 At Grapl we believe that in order to build the best defensive system we need to deeply understand attacker behaviors. As part of that goal we're investing in offensive security research. Keep up with our blog for new research on high risk vulnerabilities, exploitation, and advanced threat tactics. Find the released local privilege escalation (LPE) Proof-of-Con
Linux Daily Topics 2020年6月2日Linux 5.7がリリース ―サーマルプレッシャー、exFAT、iOS用USBドライバなど Linus Torvaldsは5月31日（米国時間）、「Linux 5.7」のリリースを発表した。開発期間は約2ヵ月で、7本のリリース候補（RC）版を経ての公開となる。 Linux 5.7 -Linus Torvalds Linux 5.7におけるおもなアップデートは以下の通り。 CPUがオーバーヒートしたときに、ガバナーによる周波数の変更でパフォーマンスが下がりすぎないよう、タスクスケジューラが調整を行う「サーマルプレッシャー（Thermal Pressure）」の実装 Linux 4.7でサポートされたガバナー「schedutil（スケジューラがCPUの周波数を選択）」をx86プロセッサでも適切に利用できるようにする「周波数
OpenSSH: Release Notes
OpenSSH Release Notes OpenSSH 9.7/9.7p1 (2024-03-11) OpenSSH 9.7 was released on 2024-03-11. It is available from the mirrors listed at https://www.openssh.com/. OpenSSH is a 100% complete SSH protocol 2.0 implementation and includes sftp client and server support. Once again, we would like to thank the OpenSSH community for their continued support of the project, especially those who contributed
XDPでPacket Rewriting – MySQLのポートを書き換える - GMOインターネットグループ グループ研究開発本部
次世代システム研究室のS.T.です。今回はLinuxカーネルに実装されているパケット処理基盤XDPで，特定ポート宛て通信の宛先ポート書き換えを試してみます。MySQLは脇役です。 はじめに XDPとは XDP（eXpress Data Path）はLinux kernel 4.8から実装された<fn>BPF Features by Linux Kernel Version</fn>パケット処理基盤です。古くからカーネルに実装されているパケットフィルタであるBPFを拡張して，カーネル内部の関数にアタッチしてメトリクス収集などを行えるようにしたeBPFを，ネットワークデバイスのドライバに近い関数に適用可能にしたもの，というとイメージがつきやすいかと思います。図1のようなイメージでパケットを処理します。XDPを使うと，カーネルのプロトコルスタックに入る前のパケットを参照・改変することができるため
バルゴ on Twitter: "『BPF Performance Tools』の3章で出てきた、Netflixのperformance engineerがサーバログインしてから最初の60秒で確認する内容 基礎は変わらない 1. uptime 2. dmesg… https://t.co/qP0VIDzelF"
『BPF Performance Tools』の3章で出てきた、Netflixのperformance engineerがサーバログインしてから最初の60秒で確認する内容 基礎は変わらない 1. uptime 2. dmesg… https://t.co/qP0VIDzelF
2019年振り返り
2019年のアウトプットとインプットを簡単に振り返っておく． Working 業務でのチームとしてのアウトプットはMercari Microservices Platformの進捗（2019年）にまとめた．前年に引き続きPlatformの開発と運用を続けている． 昨年はAPI gatewayの開発など自分で手を動かすことが多かったが，今年は自分が具体的なプロジェクトを持ち自ら手を動かすことは意識的に少なくし，Tech leadとしてチームのアウトプットをどのように最大化にするか?ということを常に考えていた．技術的な視点や意思決定も時間的に影響範囲的により広く見るように意識し始めた（インプットも組織やチームに関連するものが多くなった）．見えやすいアウトプットは少ないが，プロジェクトを進めつつ，これまで曖昧だったPlatformのMissionは何かを明確に定義し，チームが拡大しても皆が同じ方
GitHub - twitter/rezolus: Systems performance telemetry
Rezolus is a tool for collecting detailed systems performance telemetry and exposing burst patterns through high-resolution telemetry. Rezolus provides instrumentation of basic systems metrics, performance counters, and support for eBPF (extended Berkeley Packet Filter) telemetry. Measurement is the first step toward improved performance. Per-metric documentation can be found in the METRICS docume
TIL: eBPF is awesome
A blog about programming, technology and open-source stuff. I was doing some research at work for tracing and observability for microservices, when I came across Pixielabs. This tool advertises that you can instantly troubleshoot applications without any instrumentation or special code inside the apps, which sounded ✨magical✨ to me. So naturally I wanted to know a little more about what enables th
Notes on BPF (3) - How BPF communicates with userspace - BPF maps, perf events, bpf_trace_printk Oracle Linux kernel developer Alan Maguire presents this six-part series on BPF, wherein he presents an in depth look at the kernel's "Berkeley Packet Filter" -- a useful and extensible kernel function for much more than packet filtering. We've seen how userspace sets up BPF programs, but once a progra
【動画】女性VTuber起用の千葉県警PR動画、「フェミニスト議員連盟」の抗議受け削除 1 名前：ファビピラビル(やわらか銀行) [US]：2021/09/21(火) 07:48:39.85 ID:ddqt4l/V0 日テレ ニュースZERO 【Vチューバ−動画…県警が削除】 女性キャラクターの #Vチューバー 。#千葉県警 の動画で自転車にのるときの注意点を紹介するため起用されたのですが、「性的対象物として描写されている」と抗議をうけ削除される事態に。 https://video.twimg.com/amplify_video/1439962621290053640/vid/960x540/5A6LXmOUaF_oYses.mp4 トゥーンベリ・ゴン@damarekozou35 一般市民の皆さん、これがフェミニストです。 https://twitter.com/damarekozou35
06 Dec 2019 0. How to read me? Yes, I know, it’s a long text, and it was my conscious decision to write it in this way. But fear not! Imagine that you read a book, take a look at the introduction and first few interesting sections, think about it and then find time to read further. I hope I’ve left enough references, so if you don’t get some ideas you’ll be able to read more information about inte
gVisorとOCIコンテナランタイムのアーキテクチャを探る 動機 これからGKE上でデプロイする時にもしかしたらランタイムを選択するような時が来るかもしれないので適切に取捨選択できるようにしたい．あと自作コンテナランタイムしたい OCI って何 Open Container Initiativeの略. 各企業が参画してる団体でコンテナ技術の標準化をしてる. OCI Runtime コンテナランタイムと言っても色々意味がある． その広さはgccをコンパイラと一括りにしてしまうぐらい広い 例えばgccも内側では cc(compiler), gas(assembler), ld(linker) という風にレイヤ分けされている. コンテナランタイムも同じ． dockerコマンドも内側では以下の図のように containerd(CRI), runc(OCI) という風にレイヤ分けされている 最終的
LWN.net needs you!Without subscribers, LWN would simply not exist. Please consider signing up for a subscription and helping to keep LWN publishing It is no secret that much of the work on the in-kernel BPF virtual machine and associated user-space support code is being done at Facebook. But less is known about how Facebook is actually using BPF. At Kernel Recipes 2019, BPF developer Alexei Starov
This is based on my bcc Tutorial, and many also exist in bpftrace. I chose these to find the most performance wins with the fewest tools. Note that runqlat and profile can have noticable overheads, so I'd run these tools for between 10 and 60 seconds only and generate a report. Some are low enough overhead to be run 24x7 if desired (e.g., execsnoop, biolatency, tcplife, tcpretrans). There is alrea
いいBPF for PHP???
PHPカンファレンス福岡 Rejectカンファレンス 2019
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
What is eBPF? eBPF is a revolutionary technology with origins in the Linux kernel that can run sandboxed programs in a privileged context such as the operating system kernel. It is used to safely and efficiently extend the capabilities of the kernel without requiring to change kernel source code or load kernel modules. Historically, the operating system has always been an ideal place to implement
CloudNative Security Conference 2022にて「eBPFで実現するコンテナランタイムセキュリティ」というタイトルで登壇しました #CNSec2022 #CNSec2022_B | DevelopersIO
prismatixのとばち（@toda_kk）です。 2022/8/5に開催されたオンラインテックカンファレンスCloudNative Security Conference 2022 by CloudNative Daysにて、「eBPFで実現するコンテナランタイムセキュリティ」をテーマに登壇しました。 アーカイブ動画 下記ページにアップロードされる予定です。 発表資料 セッション概要 eBPFはLinuxカーネルが提供する機能の一つで、近年、ネットワークやObservabilityといった文脈で注目を集めています。本セッションでは、セキュリティの観点から、eBPFを利用することで実現できることについて整理した上で、コンテナランタイムセキュリティを実現する具体的なeBPFツールとしてFalco、Tracee、Tetragonを紹介します。 ざっくりとした内容 セッション概要にもあるように
はじめに eBPFがLinuxカーネル内で実行されるプログラムの仕組みであることは知っている。 けれどそれ以上の情報をよく知らないので実際に動かしてみて解った振りをしたい。 いろいろeBPFプログラムを書いて試したいので実行方法をまずは確認することにした。 その前に eBPFプログラムの実行方法に関するサンプルは既にLinuxカーネルのリポジトリに大量に提供されている。 Linux 5.7.7 の samples/bpf なのでC言語で遊びたい人はそこを読んで、manでリファレンス引けば特に苦労せずにeBPFプログラムを実行することができるはず。 つまりここから先は読む必要ないので読まなくても良いと思う。 問題: eBPFプログラムを実行する小さいプログラムが欲しい eBPFプログラムを実行するにはどうすればよいのだろうか。 といってもHello Worldを印字するプログラムを作って実行
CloudNative Days Tokyo 2022 Day2が開幕しました。本日のキーノート枠では、Isovalent社のTechnical Community AdvocateであるTracy P Holmes氏から、クラウドネイティブな世界におけるeBPFの強力さについてお話いただきます。 日本語の字幕を用意するのが難しく、Mediumで同氏のセッションの書き起こしと日本語翻訳をご用意しました。セッション視聴のお供に、また後から見返すためにもお使いください！ （なお、本書き起こしと翻訳は非公式なものとなります。正確な内容を保証するものではなく、あくまでセッション視聴の参考とお考えください） 翻訳・編集：Yoshiki Fujiwara @antiberial, Kohei Ota @_inductor_, Hayakawa Yutaro @YutaroHayakawa, Masat
Gain total lifecycle visibility, reduce risks and stop attacks with the most comprehensive, fully integrated Cloud Native Application Protection Platform (CNAPP)
Announcing bpftop: Streamlining eBPF performance optimization
By Jose Fernandez Today, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF programs. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring
eBPF has a thriving ecosystem with a plethora of educational resources both on the subject of eBPF itself and its various application, including XDP. Where it becomes confusing is when it comes to the choice of libraries and tools to interact with and orchestrate eBPF. Here you have to select between a Python-based BCC framework, C-based libbpf and a range of Go-based libraries from Dropbox, Ciliu
Kinvolk: Inside Kinvolk Labs: Investigating Kubernetes performance issues with BPF
Inside Kinvolk Labs: Investigating Kubernetes performance issues with BPF By Alban Crequy · April 24, 2020 One of the things we do in the Kinvolk Labs team is provide expert technical consulting for customers who are experiencing issues with their Kubernetes or Linux environments — from security audits to networking troubles to troubleshooting puzzling performance problems. A few weeks back, video
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
1. arp-scanとは 同一Network内で使用されているIP/MACアドレスの一覧を取得するコマンド。 MACアドレスは48ビット長（6オクテット）から成るアドレス情報だが、上位3オクテットがOUI（Organizationally Unique Identifier）と呼ばれるベンダー固有の識別子IDを示している。arp-scanコマンドは、いちいちベンダーコード一覧から別途検索しなくともベンダー名まで出力してくれるので便利。 2. arp-scanコマンドのインストール方法 [root@osc01 ~]# cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) [root@osc01 ~]# yum install -y git automake autoconf libpcap-devel gcc [root@
Rucy is a Ruby Compiler for BPF target. Rucy is named after "Ru-C". Talk is presented on RubyKaigi takeout 2021: https://rubykaigi.org/2021-takeout/presentations/udzura.html
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Trace Go program execution with uprobes and eBPF
Linux v5.13でスケジューラ関係のマニアックなsysctlパラメタが廃止された
よく耳にする「Kubernetes」。使いこなせると何が嬉しいの？〜MIXIエンジニアが語る技術愛〜
Intercepting Zoom's encrypted data with BPF
セキュリティエンジニアのためのKubectlプラグイン トップ15
2020年6月2日 Linux 5.7がリリース ―サーマルプレッシャー、exFAT、iOS用USBドライバなど | gihyo.jp
BPF In Depth: Communicating with Userspace
【動画】女性VTuber起用の千葉県警PR動画、「フェミニスト議員連盟」の抗議受け削除 : 痛いニュース(ﾉ∀`)
PostgreSQL at low level: stay curious! · Erthalion's blog
gVisorのコード読んでみた - SWEet
BPF at Facebook (and beyond) [LWN.net]
How To Add eBPF Observability To Your Product
GNU Debugger Adding eBPF Debugging Support - Phoronix
What is eBPF? An Introduction and Deep Dive into the eBPF Technology
eBPFプログラムの実行方法を調べる - Hash λ Bye
非公式翻訳：eBPF Superpowers (CNDT2022 Keynote)
A Deep Dive into eBPF: The Technology that Powers Tracee
Getting Started with eBPF and Go | networkop
LISA2019 Linux Systems Performance
arp-scanコマンドのインストール方法と利用方法 - Qiita
"Story of Rucy" on RubyKaigi takeout 2021