在宅勤務に移行してから1ヶ月半ほど経過しました。通勤という概念が消滅したおかげで午前中から活動できるようになった @pandax381 です。 要約 フルスクラッチで自作した TCP/IP プロトコルスタックを xv6 に組み込み、一通りの機能が動作するようになりました。 I publish the implementation of TCP/IP network stack on xv6. I ported my user-mode TCP/IP stack, which was originally developed for learning, and added the e1000 driver and socket system calls. Some parts are still not enough, but they are working.https://t.co/nh
Linux Daily Topics Linux 6.2リリース ―GeForce RTX 30のイニシャルサポート、Rustサポートの改善など Linus Torvaldsは2月19日（米国時間）、「Linux 6.2」を公開した。年末年始の休暇の影響で、通常のカーネル開発期間より1週間長く、合計8本のリリース候補（RC）版を経ての公開となる。 Linux 6.2 -Linus Torvalds Linux 6.3の主なアップデートは以下の通り。 オープンソースグラフィックドライバ「Nouveau」による初のNVIDIA GeForce RTX 30シリーズ「Ampere」サポート 起動オプションretbleed=stuffを有効にすることで、Retbleed（Intel/AMDのチップに対する投機的実行攻撃を可能にする脆弱性）緩和策によるパフォーマンス低下を抑制、また別の保護機能
Principal Engineer @ New Relic, Founding Engineer @ Pixie Labs This post will demonstrate how to use eBPF to trace encrypted connections that operate over TLS (or its predecessor, SSL). TLS has become the standard for securing microservice communication, so any production-ready tracing tool should be prepared to handle encrypted connections. This post is part of our ongoing series sharing how you
データセンター向けTCPとeBPF実装｜oraccha
最近のLinuxではeBPFで輻輳制御アルゴリズムを実装し、カーネル内で実行できる。今日はDCTCP実装を眺めてみたいと思う。その前にオリジナルのDCTCPについて確認する。マージされたのはバージョン3.17の頃。 commit e3118e8359bb7c59555aca60c725106e6d78c5ce Author: Daniel Borkmann <daniel@iogearbox.net> Date: Fri Sep 26 22:37:36 2014 +0200 net: tcp: add DCTCP congestion control algorithmDCTCPはRFCにもなっているけど、オリジナルは2010年にMSRとスタンフォード大のチームによって提案された（Data Center TCP (DCTCP) [SIGCOMM2010]）。一般的な輻輳制御アルゴリズムでは
tl;dr I demonstrate an example project that uses eBPF and stack traces to detect syscall-hooking kernel rootkits. Maybe? Rootkits and hooking A common technique of Linux kernel rootkits is to overwrite the function addresses in the syscall table. Syscalls are the main way usermode programs interact with the kernel and underlying hardware, so by altering (or ‘hooking’) the syscall table, rootkits c
Benefits for LWN subscribersThe primary benefit from subscribing to LWN is helping to keep us publishing, but, beyond that, subscribers get immediate access to all site content and access to a number of extra site features. Please sign up today! There are times when developers and system administrators need to diagnose problems in running code. The program to be examined can be a user-space proces
Back in 1992 the original Berkeley Packet Filter (BPF) was designed for capturing and filtering network packets that matched specific rules. Filters are implemented as programs to be run on a register-based virtual RISC machine providing a small number of instructions inside the Linux Kernel. Soon it became clear that extending the Kernel by user-supplied programs proves to be useful. But the desi
RubyKaigi takeoutでRuby to BPF compilerの話をした話 - ローファイ日記
Rubyアドベントカレンダー（カレンダー2）の2日目です。 qiita.com 今見たらカレンダー2も半分以上埋まってて嬉しい... Ruby is alive now!!! ということで、RubyKaigi takeout 2021の振り返りも兼ねて作ったものの話です。 rubykaigi.org Rucy: A Ruby Compiler github.com RucyはRubyのスクリプトをコンパイルして直接特定のフォーマットのバイナリを吐き出すツールです。今のところBPFのバイナリにのみ対応しています。 ちなみに "Ru"by "C"ompiler -> RuC -> Rucy という経緯で、Rucyという綴りがそれなりにRubyと空目する点含めて（？） 気に入った名付けです。 Rucyについて把握する前にBPFの説明からしないといけないのですが、要するにLinuxの機能の一つで、
この記事はRed Hat Developerの Achieving high-performance, low-latency networking with XDP: Part I を、許可をうけて翻訳したものです。 ::: By Paolo Abeni December 6, 2018 ::: XDP：ゼロから14 Mpps*1 XDPの概要 XDPフレーバー "Hello world" 荒削りな点 次回予告 XDP：ゼロから14 Mpps*1 過去何年にもわたり、カーネルコミュニティはさまざまなアプローチを使用して、ネットワークパフォーマンスの改善を追求してきました。いくつかの分野で改善が見られますが、アーキテクチャ関連のセキュリティ問題とその対策がほとんどの利点を打ち消してしまい、パケット処理集中型ワークロードに対する純粋なカーネルソリューションはまだバイパスソリューションよりも遅
redbean 2.0 release notes
redbean is a webserver in a zip executable that runs on six operating systems. The basic idea is if you want to build a web app that runs anywhere, then you download the redbean.com file, put your .html and .lua files inside it using the zip command, and then you've got a hermetic app you can deploy and share. I introduced this web server about a year ago on Hacker News, where it became the third
Linux Observability with BPFを読んだので、メモしておく。 今月、Brendan Gregg氏のBPF本も出るので、 それも読みたいな。 BPFを使うことで、カーネルのイベントをフックして安全にコードを実行できる そのコードがシステムを破壊したりクラッシュさせたりすることが無いよう、BPF側で検証してくれる カーネルモジュールと異なり、BPFプログラムはカーネル再コンパイルの必要がない BPFコードが検証された後、BPFバイトコードは機械命令にJITされる BPFプログラムは、bpf syscall によってBPF VMへとロードされる 2014年前半にAlexei Starovoitov氏がeBPFを導入した 過去のBPFでは2つの32bit registerのみが使えたが、eBPFでは10個の64bit registerまで使える 2014年6月にはeBPFは
Tutorial: Profiling Rust applications in Docker with perf | Blog | Guillaume Endignoux
With Moore’s law coming to an end, optimizing code to avoid performance pitfalls is becoming more and more useful. To this end, programming languages like Rust are designed to produce fast and memory-efficient programs out-of-the-box. When that is not sufficient, profilers like perf are useful to measure where the code is slow and therefore which algorithms and data structures should be optimized.
GDBがeBPFのデバッグをサポートした
GDBがeBPFのデバッグをサポートした。 GNU Debugger Adding eBPF Debugging Support - Phoronix eBPFというのはLinuxカーネル内の仮想マシンだ。 もともと、BPF(Barkley Packet Filter)という仮想マシンがあった。これはネットワークのパケットフィルタリングをするための仮想マシンで、レジスターベースのRISCプロセッサーを模した命令セットになっている。 カーネル内で安全にユーザーコードを実行するというのは需要があるので、BPFをより汎用的に使いたいという声は多かったのだが、何分BPFは設計が古い。レジスタは2個で32bit、命令セットはatomic compare exchangeのようなモダンなプロセッサーに搭載されている命令がない。 そのためeBPF(extended BPF)が設計された。レジスタは10個
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
AF_XDPアプリケーション性能特性の定性的評価 〜レイテンシ編 - VA Linux エンジニアブログ
1. はじめに 2. 環境 3. 前提 4. AF_XDP (zerocopy) アプリケーション 4-1. アーキテクチャ 4-2. レイテンシ特性 4-2-1. 特性 4-2-2. チューニング (a). 一般的なirq_exitからのSoftIRQ実行及びksoftirqdによる実行双方に共通する項目 (b). ksoftirqdに限定される項目 4-3. スループット特性 5. まとめ 執筆者 : 田 幸一郎 1. はじめに 近年活発に開発が進んでいるAF_XDPを利用したアプリケーションは、（skbを持ち回してプロトコルスタックを駈け登る/駆け下りる）Linux Kernel Network Stackをバイパス出来るという観点で、DPDKを活用したアプリケーションと比較されることが少なからずあるかと思います。普通この2つの要素技術を比較検討する際、スループット性能に焦点が当たる
Let’s dig deeper into this list of Kubectl plugins that we strongly feel will be very useful for anyone, especially security engineers. Stern plugin RBAC-tool Cilium Plugin Kube Policy Advisor Kubectl-ssm-secret Kubelogin Kubectl-whisper-secret Kubectl-capture Kubectl-trace Access-matrix Rolesum Cert-manager np-viewer ksniff Inspektor-Gadget Kubernetes, by design, is incredibly customizable. Kuber
Linux Security Hardening and Other Tweaks by @blakkheim Last updated: 10/30/2023 This page lists the changes I make to a vanilla install of Arch Linux for security hardening, as well as some other changes I find useful. Most of the changes will work on any Linux distro that's reasonably up to date. It's not a one-size-fits-all setup, but hopefully certain pieces will be useful to anyone wanting a
eBPF Updates #2: eBPF with Zig, libbpf-bootstrap, Rust Linker, BTF in Kernel Modules, Cgroup-Based Memory Accounting Foreword Welcome to the second issue of the eBPF Updates! This time we have interesting resources about how to write eBPF programs with Zig, or with Rust, or on how to manage them with libbpf. On the kernel side, modules now support BTF, and improvements to memory accounting for eBP
IMDSv1を使用しているか判断できるIMDSパケットアナライザーがリリースされました | DevelopersIO
IMDSv2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないな こんにちは、のんピ(@non____97)です。 皆さんはインスタンスメタデータ(以降IMDS)v2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないなと思ったことはありますか? 私はあります。 IMDSv2のみ許可することでSSRF攻撃を緩和することが可能です。 IMDSv2の詳細な動作や効果については、DevelopesIOの以下記事や徳丸先生の記事が参考になります。 EC2インスタンスのデフォルトの設定ではIMDSv2とIMDSv1どちらも有効化されていることが多いです。(デフォルトの設定はAMI次第) そのため、後からIMDSv1を無効化したい場合は、どのプロセスがIMDSv1を使っているのかを確認する必要があります。しかし、具体的にIMDSv1を使用しているプロセスを確認するメトリク
eBPFを掘り下げる~Traceeを支える技術~ #AquaSecurity #eBPF #Tracee #セキュリティ #オープンソース - クリエーションライン株式会社
A Deep Dive into eBPF: The Technology that Powers Tracee Aqua Security の Tracee は、軽量かつ使いやすいコンテナおよびシステムのトレースに優れたオープンソースツールです。Tracee を使用すれば、他のシステムプロセスを除外することなくコンテナ内でのみ生成されたイベントをトレースできます。 Tracee は eBPF テクノロジーを利用しています。eBPF を使用すると、ユーザはシステムの可観測性を支援するプログラムを実行できます。このブログでは eBPF とは何か、それを使用する理由及びその目的について説明します。またシステムコールをトレースするために eBPF を実装する方法の例を紹介します。 Tracee の詳細については、Liz Rice が公開したこのブログ投稿をご覧ください。 ※日本語翻訳はコチラ。
これは JANOG LT のフォローアップブログです。 Go+XDPな開発何も説明できなかったことに気がついたので書きました。 SRv6,GTPv1,XDPの大まかな説明は世の中に神な資料があるので特に説明はしません。 もしebpfとはなんぞなどの疑問がある方は janog 45 パケット処理の独自実装や高速化手法の比較と実践 拙作のブログ: 今日から始めるXDPと取り巻く環境について などを合わせて見ていただけるといいと思います。 TL;TR Go+XDPな開発をしたいなら cilium/ebpf を使うといい https://github.com/takehaya/goxdp-templateという雛形を作ったので始めるときに参考にして欲しい。 GoでXDPをやるときの選択肢と最近の利点 Goを利用する際の開発においての選択肢は以下のようにいくつかあります。 newtools/ebpf
Roland GAIA 2 | ウェーブテーブル＆バーチャル・アナログ・オシレーター搭載のハイブリッドシンセサイザー - Digiland｜島村楽器
記事中に掲載されている価格・税表記および仕様等は記事更新時点のものとなります。 © Shimamura Music. All Rights Reserved. 掲載されているコンテンツの商用目的での使用・転載を禁じます。 Roland ( ローランド )が、ウェーブテーブル・オシレーターとバーチャル アナログ オシレーター搭載のハイブリッドシンセサイザー「GAIA 2」を発売します。 GAIA 2 は、ウェーブテーブル・オシレーターを1基、バーチャル アナログ オシレーター2基組み合わせた強力なハイブリッド エンジンを搭載。高品位なノブやスライダーを満載した魅力的なアルミパネルが特徴。 フレンドリーなパネルレイアウトは、スピーディーなサウンドデザインのための合成ワークフローを論理的に概説し、フルサイズのキーは演奏する準備ができたときに優れた演奏性を提供します。 また、シーケンサーとモーショ
It was only a matter of time before somebody found a way to inject BPF into the CPU scheduler. This patch series, posted by Tejun Heo and containing work by David Vernet, Josh Don, and Barret Rhoden, does exactly that. The cover letter covers the motivation behind this work in detail: One of our main goals was to lower the barrier to entry for experimenting with the scheduler. sched_ext provides e
Once my holidays had passed, I found myself reluctantly reemerging into the world of the living. I powered on a corporate laptop, scared to check on my email inbox. However, before turning on the browser, obviously, I had to run a ping. Debugging the network is a mandatory first step after a boot, right? As expected, the network was perfectly healthy but what caught me off guard was this message:
XDP for Game Programmers
I'm Glenn Fiedler and welcome to Más Bandwidth, my new blog at the intersection of game network programming and scalable backend engineering. What's this new blog about? Games with thousands of players. Virtual worlds. Performance in virtual spaces to an audience of millions. The Metaverse (no, not THAT metaverse, the real metaverse, sans blockchain). Overlay worlds in AR. Telepresence and remote
前回に続いて、Kubernetesのエコシステムをまとめていく。 今回は前回までのカテゴリに入らない雑多なものについて書く。 Kubernetesの上で動くものであったり、Kubernetesクラスタに対して働くものだったり。 2021/1/24更新。 セキュリティ KubernetesクラスタやKubernetesアプリケーションのセキュリティ向上のためのツールたち。 kube-bench kube-benchはKubernetesクラスタの設定やリソース定義にセキュリティ的な問題が無いかをCIS Kubernetes Benchmarkに沿ってチェックしてくれるコマンドラインツール。 最近話題になったAqua Security社製。 Popeye PopeyeはKubernetesクラスタに登録されたリソース定義に潜在的な問題が無いかをスキャンしてくれるコマンドラインツール。 使われて
ネットワークとRustの勉強のため，データリンク層（Ethernet）のパケットを扱ってみることにした．それを簡単にできるlibpnetクレートが既にあるが，便利すぎて，これを使っては全く勉強にならなそうなので使わずに実装することにした． といっても80%以上libpnetクレートの写経なので，それの解説と思って読んでいただく方がいいかも． が，なんと実装する過程でこのライブラリのバグを発見して，issueを立てて実際に修正されたコードがmasterブランチにマージされたので，そのことにも少し触れながら書いていく． 成果物はこちら↓ 実行環境 macOS Catalina (Ver. 10.15.7) $ rustup -V rustup 1.22.1 (b01adbbc3 2020-07-08) $ rustc -V rustc 1.44.1 (c7087fe00 2020-06-17)
What is Observability
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Running an eBPF program may require lifting the kernel lockdown
Running an eBPF program may require lifting the kernel lockdown Update Sep 28: discussion on Hacker News Update Sep 30: kernel lockdown merged into mainline kernel A couple of days ago I wanted to try out the hot eBPF things using the BPF Compiler Collection (BCC) on my Fedora 30 desktop system, with Linux kernel 5.2.15. I could not load eBPF programs into the kernel: strace revealed that the bpf(
systemd-creds を使ったクレデンシャル管理
先日 Software Design 2022-11 月号で systemd-creds というツールの存在を知り興味を持ったので少し触ってみました。 systemd-creds を利用したクレデンシャル管理は systemd v250 から利用可能です。v250 は 2021-12 にリリースされたもので現時点ではまだ含まれていない Linux ディストリビューションも多そうですが、例えば Ubuntu だと 22.10 であれば v251 が入っているようです。 以下は Arch Linux で systemd v251 で試した実行結果を載せています。 $ systemctl --version systemd 251 (251.6-2-arch) +PAM +AUDIT -SELINUX -APPARMOR -IMA +SMACK +SECCOMP +GCRYPT +GNUTLS
Raspberry Piのファイルシステムのリードオンリー化[OverlayFS]
Raspberry Piの電源をシャットダウンしないで落としたい場合、ファイルシステムのリードオンリー化という手法が良く用いられます。以前はいろいろと設定が面倒な感じだったのですが、最近はraspi-configでサポートされているようなので（https://www.raspberrypi.org/forums/viewtopic.php?f=63&t=253104&sid=15b0f9ae99fdae0cd18f9d21e56df4e3#p1549117）試してみました。 変更前の状態 変更前のRaspbianはstretchでした。 $lsb_release -a Distributor ID: Raspbian Description: Raspbian GNU/Linux 9.6 (stretch) Release: 9.6 Codename: stretch しかし、raspi-
![Raspberry Piのファイルシステムのリードオンリー化[OverlayFS]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f153cb1f365f44a02a1c8a019914c68d3bc5af71/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEjcE7bLee3oQ70WgBlyOTpJceufdEY-pxfbTQ_X5KWQafAwVg_C43Vwz0TIy3bfUth2UUbCfWIMg2cz_5sBPdzLDG7v3ctRatxvsdWWuQ2ZFBOFSpnulksoO4BnKAmtn9g3NdNq2FlxWJ8%2Fw1200-h630-p-k-no-nu%2Frp1.jpg)
The Seccomp Notifier - New Frontiers in Unprivileged Container Development
Introduction As most people know by know we do a lot of upstream kernel development. This stretches over multiple areas and of course we also do a lot of kernel work around containers. In this article I’d like to take a closer look at the new seccomp notify feature we have been developing both in the kernel and in userspace and that is seeing more and more users. I’ve talked about this feature qui
Linux Kernel vs. Memory Fragmentation (Part I) - High Scalability -
Now, let‘s get started. Linux buddy memory allocatorLinux uses the buddy algorithm as a page allocator, which is simple and efficient. Linux has made some extensions to the classic algorithm: Partitions' buddy allocatorPer-CPU pagesetGroup by migration typesThe Linux kernel uses node, zone, and page to describe physical memory. The partitions' buddy allocator focuses on a certain zone on a certain
Cracking Kubernetes Node Proxy (aka kube-proxy) Published at 2019-11-30 | Last Update 2021-02-03 TL; DR This post analyzes the Kubernetes node proxy model, and provides 5 demo implementations (within couples of lines of code) of the model based on different kernel infrastructures (userspace/iptables/ipvs/tc-ebpf/sock-ebpf). Related posts: Cracking Kubernetes Node Proxy (aka kube-proxy) Cracking Ku
三越伊勢丹がデジタルトランスフォーメーション（DX）の取り組みを加速させている。オンライン接客「三越伊勢丹リモートショッピングアプリ」や、3D計測による靴の提案「YourFIT365」など、デジタル技術を駆使したサービスを矢継ぎ早に繰り出してきた。注目すべきは開発スピードだ。前述した2サービスのシステムの初期開発に要した期間は前者が4カ月、後者は3カ月という短さである。 この開発スピードは一朝一夕では手に入らない。「従来はどんなシステムの開発も一声1年かかるという状態だった」。IT子会社である三越伊勢丹システム・ソリューションズの竹前千草ICTプラットフォーム部 ビジネスプラットフォーム第1担当長は“加速以前”をこう振り返る。 開発スピードが上がらない原因の1つはアプリ、インフラ、運用と3チームに分かれていた推進体制にあった。「開発チームからインフラ構築や運用監視などの作業を依頼するために
The Evolving eBPF Toolchain
These days there is an ever-growing list of tools and frameworks for working with eBPF, all at varying levels of abstraction. There does seem to be a few that sit at the core of the rest of the eBPF ecosystem. However, the ecosystem is changing rapidly, and I’ve found it to be a bit difficult to navigate through the sea of information that’s out there and understand which tools are the current “st
RubyKaigi 最高！
RubyKaigi 2022 に行ってきました! ので感想を DAY 0 今回も やんちゃハウス に楽をして泊まることにしてたのでなにも気にせず宿へ。 着いて他メンバーが来るまで宿で待機してたが、最寄り駅の周りが思った以上になにもなく、途方に暮れてました。 夕飯 もうひとり宿に着いたので入れ変わりで夕飯へ出かけたが、そもそも最寄り駅前にはなにもないので伊勢駅まで出ることにした。 この判断が間違えてたようで、伊勢駅に出てもとくに変らなかった。しかし幸い伊勢駅前に担々麺屋があったのでそこで食料摂取した。 DAY 1 この日の聞いたセトリと感想は以下のとおり Ruby meets WebAssembly: presentation この日のキーノートは Ruby の wasm 対応の話で wasi を通じてブラウザで Ruby が動かすまでのたのしいことをしゃべってたようです。 おなかいたくてト
2501babe: solana 101
ok so what the fuck is the deal with solana anyway an introduction to the solana blockchain this post is intended to give a rundown of solana for curious technicals. i assume you know how computer worky. i lean on comparisons to ethereum to explain some things but comprehensive eth knowledge is not important to make sense of this. im not gonna explain proof of stake but feel free to google "byzant
In a recent blog post, Alban Crequy and Mauricio Vásquez benchmarked egress filtering solutions in the Linux kernel and compared iptables, ipsets, and BPF at the tc hook. That is exciting, not only because egress benchmarks are missing with everyone focusing on ingress (e.g., XDP), but also because they: included short CPU traces, allowing us to understand what is happening. provided the code and
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
xv6にネットワーク機能を実装した : DSAS開発者の部屋
Linux 6.2リリース ―GeForce RTX 30のイニシャルサポート、Rustサポートの改善など | gihyo.jp
Debugging with eBPF Part 3: Tracing SSL/TLS connections
Detecting Kernel Hooking using eBPF
Comparing SystemTap and bpftrace [LWN.net]
GitHub - rprinz08/hBPF: hBPF = eBPF in hardware
XDP パート1: XDPを使用して高性能、低遅延のネットワーキングを実現する
Linux Observability with BPF 読書メモ
Brilliant Jerks in Engineering
Top 15 Kubectl plugins for security engineers
Linux Security Hardening and Other Tweaks
eBPF Updates #2: eBPF with Zig, libbpf-bootstrap, Rust Linker, BTF in Kernel Modules, Cgroup-Based Memory Accounting
Go+XDPな開発を始めるときに参考になる記事/janog LT フォローアップ - お腹.ヘッタ。
https://lpc.events/event/7/contributions/667/attachments/510/919/Traceloop_and_BPF_Linux_Plumbers_Conference_-_LPC_2020.pdf
The BPF extensible scheduler class [LWN.net]
The day my ping took countermeasures
Kubernetesのエコシステム ー その他雑多 | To Be Decided
RustでBPFでパケットキャプチャ - Qiita
Cracking Kubernetes Node Proxy (aka kube-proxy)
三越伊勢丹はDXで「4倍速開発」、下支えする2つのIT基盤とは
BPF Isn’t Just About Speed