はじめに Python3.9の新機能 (まとめ)という記事を書く中でpidfdというものを知りました。まだあまり良い解説記事がないのですが、最近の5.x系Linuxカーネルに新たに導入されたプロセスを識別するための仕掛けです。この機能がRust言語でCrate（ライブラリのようなもの）として実装されていたので試してみました。 pidfdとは これまでプロセスはPID(Process ID)によって指し示されていました。PIDはプロセスを一意に指し示すための識別子で、例えばシグナルなどを送ったりするのに使われます。 PIDは32bitの整数で、プロセスが生成される時にカーネルが割り振りますが、システム全体で共有しているので枯渇しちゃいます。32bitならそこそこあるように思いますが、実はPIDの最大値はもっと小さく設定されています。Linuxの場合は cat /proc/sys/kernel
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。yasukata氏は、仮想マシンのためのメモリ共有手法「ELISA」について発表しました。 仮想マシンで重要なメモリのアイソレーション yasukata氏（以下、yasukata）：yasukataといいます。「仮想マシンのためのVMFUNC命令を使ったメモリ共有手法」についてお話しします。 （スライドを示して）こちらは、2023年3月に「ASPLOS」という学会で発表したものです。内容は、「Exit-Less, Isolated, and Shared Access」、ELISAという仮想マシンのためのメモリ共有手法についてです。こちらのリンクに、論文、スライド、ソースコード、解説などがあるので、よければご参照ください。 まず、仮想マシンにつ
Linux Daily Topics 2020年6月16日Linux 5.8-rc1が公開、カーネルサイズは"Really Big" Linus Torvaldsは6月14日（米国時間）、次期LinuxカーネルLinux 5.8の最初のリリース候補版となる「Linux 5.8-rc1」を公開した。Linusは公開を通知するメーリングリストのメッセージの冒頭で「本当にこんなふうになるとは思ってもいなかったんだけど、5.8はこれまででもっとも大きいカーネルのひとつになりそう」とコメントしており、久々にカーネルサイズが大幅に増えることになりそうだ。 Linux 5.8-rc1 -Linus Torvalds Linuxカーネル開発において過去最大のサイズとなったのが2016年12月にリリースされたLinux 4.9で、最初のリリース候補版（RC1）のサイズも大きく、Linux 5.8-rc1
■ はじめに Red Hat 7 系 Linux における、カーネルクラッシュダンプの基本的なことや、取り方 (Kdump の設定方法) について書きました。"カーネルクラッシュダンプを取ったことがない人向け" の記事です。 この記事は、カーネルクラッシュダンプの基本的な説明、カーネルクラッシュダンプを取るのに必要なツール類の説明、システムクラッシュの方法、カーネルパニックに関するパラメータについての紹介、という構成になっています。 追記: 解析編を書きました ➔ カーネルクラッシュダンプの解析方法 ■ カーネルクラッシュダンプとは システム (カーネル) クラッシュ時点でのメモリ内容が保存 (ダンプ) されたファイルのことです。 通常、カーネルパニックなどにより、システムがクラッシュした場合、ログなどの情報は残らず原因解析が困難ですが、カーネルクラッシュダンプ (以降、クラッシュダンプと
「LLVM 9.0」リリース、asm gotoのサポートでLinuxカーネルのビルドが可能に | OSDN Magazine
The LLVM Projectは9月19日、コンパイラおよび関連ツールチェーン集「LLVM 9.0」をリリースしたことを発表した。ライセンスが例外付きApache License 2に変更になったほか、機能面ではメインラインのLinuxカーネル（x86_64）のビルドが可能になり、RISC-Vサポートが正式扱いとなるなどの強化が加わっている。 LLVMはモジュラーおよび再利用可能なコンパイラとツールチェーンを提供するプロジェクト。イリノイ大学でSSAベースのコンパイラ開発プロジェクトとしてスタートした。現在はLLVM Coreに加え、フロントエンドのClang、デバッガのLLDB、C++11とC++14をサポートするC++ Standard Libraryの実装であるlibc++とlibc++ ABIなど、複数のサブプロジェクトを擁する。 LLVM 9.0は3月に公開されたバージョン8に
It's 2020: Linux Kernel Sees New Port To The Nintendo 64 - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
XDPメモ（アーキテクチャ、性能、ユースケース）
はじめに# The eXpress data path: fast programmable packet processing in the operating system kernel 1 を読んだ。 この文章はほとんどこの論文をもとに書いたが、一部ニュース記事を引用している。 eBPF／XDPが流行っているということは、BCC、bpftrace、Facebook Katran、Cloudflare Gatebot などeBPF／XDPを使うプロジェクトのGithub Star数から感じ取れる。 eBPF／XDPには、特殊なハードウェア・ソフトウェアに依存せず、 カーネルの仕掛けとして高速パケット処理を実現できるという強力なメリットがある。 一方であまり弱点を主張するような記事は見当たらないので、実際のところどうなのか感触を知りたい。 XDPを使うとNICデバイスドライバのコンテキス
kdevops: a devops framework for Linux kernel development
kdevops: a devops framework for Linux kernel developmentAugust 16, 2019 I'm announcing the release of kdevops which aims at making setting up and testing the Linux kernel for any project as easy as possible. Note that setting up testing for a subsystem and testing a subsystem are two separate operations, however we strive for both. This is not a new test framework, it allows you to use existing fr
5.11 カーネルで overlayfs に大きな変更があったようで、久々にカーネルの新しい機能を試してみました。 とは言っても、結果だけ言うとすぐに終わってしまうので、すごいことをやったように見せかけるために、復習したりして順に説明していきましょう。時間のない方は最後の方だけ見れば良いです。 OverlayFS とは Union Filesystem の実装の1つで、ディレクトリを重ね合わせて1つのディレクトリツリーを構成できます。Docker なんかではおなじみの機能ですね。おなじみの機能とはいえ、実際に直接マウントして動きを見たことがない方も多いかと思います。そこでまずは動きを簡単に見てみましょう。 重ね合わせるということで、下層側ディレクトリ、上層側ディレクトリを重ね合わせて、マウントポイント以下に見せます。他にワーク用の workdir として指定するディレクトリが必要です。 次
詳解Rustプログラミング | SEshop.com
さまざまなCUIアプリケーションを通して システム言語としてのRustを徹底詳解 本書は、 Tim McNamara, "Rust in Action: Systems programming concepts and techniques" Manning Publications, の翻訳書です。 【本書の内容】 ダイレクトにメモリを操作し、OSのシステムコールを活用することで高速性を維持しつつ、コンパイラの進化によって安全性も確保した開発言語・Rust。 本書は、ファイルI/Oを使った入出力プログラムから、キーバリュー型のDB操作やメモリ操作、生のTCPを使うネットワークプログラム。そしてプロセスやスレッド、割り込みや例外処理などの低レイヤからカーネルそのものまで扱うためのノウハウを、Rust固有のテクニカルタームとともに解説します。 著者のTim McNamaraは、15年以上の時
CVE-2021-22555: Turning \x00\x00 into 10000$ Andy Nguyen (theflow@) - Information Security Engineer CVE-2021-22555 is a 15 years old heap out-of-bounds write vulnerability in Linux Netfilter that is powerful enough to bypass all modern security mitigations and achieve kernel code execution. It was used to break the kubernetes pod isolation of the kCTF cluster and won 10000$ for charity (where Goog
スロットリング解除: クラウドにおける CPU の制限の修正 - Indeed エンジニアリング・ブログ
この投稿は、2部構成となっているシリーズの第1部です。 私たちのチームは、2019年に、Kubernetes、Docker、Mesos など、ハードリミットが設定されたほぼすべてのコンテナオーケストレータに影響する CPU スロットリングの問題を解決しました。この過程で、応答遅延で大きな問題があった Indeed のあるアプリケーションでは、遅延が2秒から30ミリ秒に短縮されました。この2部構成のシリーズでは、根本的な原因を見つけ、最終的にソリューションへとたどり着いた取り組みについて説明します。 Photo by twinsfisch on Unsplash この問題が発生したのは昨年、Linux カーネルの v4.18 がリリースされてから間もなくのことでした。Indeed のある Web アプリケーションで応答時間が長くなっていることを把握したのですが、CPU の使用量を確認しても問
LWN.net needs you!Without subscribers, LWN would simply not exist. Please consider signing up for a subscription and helping to keep LWN publishing The Rust programming language differs from C in many ways; those differences tend to be what users admire in the language. But those differences can also lead to an impedance mismatch when Rust code is integrated into a C-dominated system, and it can b
旧OSが必要なユーザーに向けて——Raspberry Pi財団、BusterベースのOS「Legacy」を発表｜fabcross
Raspberry Pi財団は2021年12月2日、Raspberry Pi OSの旧バージョンをサポートする「Legacy」を発表した。最新版の「Bullseye」とLegacyからOSを選択できるようになり、新OSでソフトウェアが動かなくなったというユーザーの利便性が向上する。 Raspberry Piは9年にわたり、Raspberry Pi OS（旧Raspbian）リリースのみをサポート対象としてきたが、それにより上流ブランチへ移行する際に大きな問題が生じていた。Debian Linuxが「Buster」からBullseyeへバージョンアップされた際、Raspberry Pi OSもBusterからBullseyeベースにアップデートしたが、その際に旧ソフトウェアやインターフェースのサポートが終了し、それに依存していたアプリケーションは使えなくなってしまった。 そこで旧バージョンへ
2020-04-07 はじめに io_uring について以下の素晴らしい入門記事を知ったので試してみたメモです。 io_uring By Example: An Article Series - Unixism io_uring by example: Part 1 - Introduction - Unixism io_uring By Example: Part 2 - Queuing multiple requests - Unixism io_uring By Example: Part 3 - A Web Server with io_uring - Unixism サンプルソースコード shuveb/io_uring-by-example: A companion repository for the io_uring by Example article series RE
The Qiita Advent Calendar 2020 is supported by the following companies, organizations, and services.
GitHub - elastic/bpfcov: Source-code based coverage for eBPF programs actually running in the Linux kernel
This section aims to provide a high-level overiew of the steps you need to get started with bpfcov. Compile the LLVM pass obtaining libBPFCov.so Instrument your eBPF program by compiling it and by running the LLVM pass (libBPFCov.so) on it Build the userspace code of your eBPF application Execute your eBPF application in the kernel through the bpfcov run ... command Generate the .profraw file from
GitHub - llenotre/maestro: Unix-like kernel written in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
LWN.net needs you!Without subscribers, LWN would simply not exist. Please consider signing up for a subscription and helping to keep LWN publishing The random-number generation facilities in the kernel have been reworked some over the past few months—but problems in that subsystem have been addressed over an even longer time frame. The most recent changes were made to stop the getrandom() system c
LinuxサーバーのTCPネットワークのパフォーマンスを決定するカーネルパラメータ – 2編 | NHN Cloud Meetup
連載 LinuxサーバーのTCPネットワークのパフォーマンスを決定するカーネルパラメータ – 1編 4.ネットワークcapacity関連パラメータ 4.1 maximum file count Linuxをはじめとする一般的なUnixソケットは、まるでファイルのような扱いを受けます。 システム全体で保有できるファイル数が制限されていれば、当然ソケットの全体数にも影響を与えるでしょう。 Linuxでシステム全体が保有できる最大ファイル数は、fs.file-maxカーネルパラメータで設定します。 以下のようなコマンドで現在の設定値を確認できます。 $ sysctl fs.file-max fs.file-max = 775052 一般的に、この値は適度に大きな値が設定されているので、余程のことがない限り、修正することはないでしょう。 ただ、システムが非常に多くのファイルとソケットを使用している
Sushi Roll: A CPU research kernel with minimal noise for cycle-by-cycle micro-architectural introspection
Twitter Follow me at @gamozolabs on Twitter if you want notifications when new blogs come up. I also do random one-off posts for cool data that doesn’t warrant an entire blog! Summary In this blog we’re going to go into details about a CPU research kernel I’ve developed: Sushi Roll. This kernel uses multiple creative techniques to measure undefined behavior on Intel micro-architectures. Sushi Roll
Production では BCC より libbpf + BPF CO-RE を使う方が良い - kenju's blog
"Why We Switched from BCC to libbpf for Linux BPF Performance Analysis 2020" に書いてあるとおりなのだが、BCC (BPF Compiler Collection) ではなく、libbpf + BPF CO-RE の組み合わせを使うほうが好まれる。 なぜかというと、BCC のアーキテクチャ上、BPF Program を実行するために Clang/LLVM および trace に必要な Linux kernel headers file を埋め込む必要があるのだが、それがプログラム起動時に必要な CPU/Memory リソースを押し上げる要因、及び BPF Program 開発時のビルドプロセスや Debugging の複雑化に繋がっているからだ。 NOTE: 大抵の場合、Clang, LLVM および Linux
この記事は新野淳一氏のブログ「Publickey」に掲載された「WindowsがまたLinuxを取り込む。マイクロソフト、Linuxカーネルが備える拡張機能「eBPF」互換機能をWindowsにもオープンソースで実装へ」（2021年5月13日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 マイクロソフトは、Linuxカーネルが備えている拡張機能である「eBPF」の互換機能を、Windows 10とWindows Server 2016以降で実現するオープンソース「eBPF for Windows」を発表しました。 カーネルのコードを書き換えずに機能を拡張できるeBPF eBPFとは、Linuxカーネルを変更することなく、カーネルの持つさまざまな機能をフックすることにより、カーネルに対してある種の機能拡張を実現するものです。下記は、eBPFのWebサイトにある説明を
SNIAがあらかじめ用意してくれたPersistent Memoryを搭載したDocker Containerに入り検証を行います。 まずは、Persistent Memoryを確認します。 $ df -h Filesystem Size Used Avail Use% Mounted on overlay 15G 9.8G 5.3G 66% / tmpfs 64M 0 64M 0% /dev tmpfs 189G 0 189G 0% /sys/fs/cgroup shm 64M 0 64M 0% /dev/shm /dev/pmem1 976G 117M 926G 1% /pmem /dev/nvme2n1p1 667G 8.2G 659G 2% /home/pmemuser51 /dev/mapper/fedora-root 15G 9.8G 5.3G 66% /etc/hosts t
Kernel Pwning with eBPF: a Love Story - Blog | Grapl
By: Valentina Palmiotti, @chompie1337 At Grapl we believe that in order to build the best defensive system we need to deeply understand attacker behaviors. As part of that goal we're investing in offensive security research. Keep up with our blog for new research on high risk vulnerabilities, exploitation, and advanced threat tactics. Find the released local privilege escalation (LPE) Proof-of-Con
問題 構成 突発的に、１台のサーバーで５秒間だけ、502 Bad Gateway が数百〜数千出て困った。（②の部分） nginx.conf proxy_connect_timeout 5; 5秒はnginx設定によるモノなのだろうが、なんで一瞬だけ出るのか全然解らなかった。 nginxのerror.log にはこう出てて、これってproxy_passの設定ミスってる時の奴だよな。。と。。（③の部分） /var/log/nginx/error.log upstream prematurely closed connection while reading response header from upstream, client: 172.XX.XX.XX, server: _, request: "GET / HTTP/1.1", upstream: ... 一瞬、nginx -> no
GitHub - Rust-for-Linux/linux: Adding support for the Rust language to the Linux kernel.
Linux kernel ============ There are several guides for kernel developers and users. These guides can be rendered in a number of formats, like HTML and PDF. Please read Documentation/admin-guide/README.rst first. In order to build the documentation, use ``make htmldocs`` or ``make pdfdocs``. The formatted documentation can also be read online at: https://www.kernel.org/doc/html/latest/ There are va
前回はcgroup v2で使えるコントローラのうち、v1から大きく変わったコントローラや、新たに実装されたコントローラについて説明しました。 今回はcgroup v2で行われるリソース制御のタイプ、cgroupで使うインターフェースファイルに関係する規則や、コントローラでリソース制限を設定する際に関係するファイルのフォーマットや書き込み方について説明したいと思います。 cgroupとcgroup内ファイルの命名規則 cgroup v1には、cgroupで使用するファイルやその内部の書式について、明確な規則はありませんでした。cgroup v2では、ファイルに関する規則がきちっと定められました。この決まりを説明していきましょう。 今回の実行例は、前回と同じくUbuntu 21.10環境で実行しています。 まず、cgroup自体の動きに影響するcgroupコアに関係するインターフェースファイル
Process isolation is a key component for containers. One of the key underlying mechanisms are namespaces. We will explore what they are, and how they work, to build our own isolated container and better understand each piece. What are namespaces? Namespaces are a Linux kernel feature released in kernel version 2.6.24 in 2008. They provide processes with their own system view, thus isolating indepe
In-depth dive into the security features of the Intel/Windows platform secure boot process
Introduction and System Architecture Buses More Components The Flash Chip Overview Early power on Bring-Up (BUP) CPU initialization UEFI initialization Loading the boot loader Windows Boot Winload HVCI Dynamic Root of Trust Model (DRTM) UEFI Memory Attributes Table Other OSs More Protections IOMMU and DMA protections Secure Devices SMM Memory Reset protections This blog post is an in-depth dive in
NetBSD開発チームは2月14日、最新のメジャーリリースとなる「NetBSD 9.0」のリリースを発表した。AArch64アーキテクチャのサポートなどが加わっている。 NetBSDはフリーなUNIX系OSを開発するプロジェクトで、カリフォルニア大学バークレー校が開発した4.4BSD Lite2をベースに独自の強化を行っている。高い移植性を大きな特徴の1つとしており、さまざまなプラットフォームで動作する。 NetBSD 9.0は、2018年に公開されたバージョン8系に続く最新のメジャーリリース。新たにAArch64（64ビットArmv8-A）アーキテクチャのサポートが加わり、Armv7-Aについてもサポートを強化した。また、Intel DRM GPUドライバーが新しくなり、Arm向けGPUドライバーのサポートも拡大した。 NVMMハイパーバイザーを導入することで、ハードウェア支援仮想化をサ
Linuxカーネルビルド大全 - Qiita
はじめに （本記事は Linux Advent Calendar 2020 および 東京大学 品川研究室 Advent Calendar 2020の11日目の記事として書かれました。） カーネルのビルドについての情報はググると色々と出てきますが、「ここを見ればOK」と思えるサイトに巡り会えていないので、自分で書いてみることにしたのが本記事です。 いずれLinuxカーネルをビルドする必要にかられるであろう研究室・学科の後輩や、忘れっぽい将来の自分のためにも、改めてLinuxカーネルのビルド方法についてまとめてみたいと思います。 概要 さて、「カーネルをビルドしよう」という状況に置かれた場合、実際にすべきことは主に以下の４点だと思います。 ソースコードの取得 ビルド環境の構築 カーネルコンフィグの準備 ビルド及びインストール そこで本記事では、カーネル本体のビルド上記の４点の他、関連して以下の
GitHub - theseus-os/Theseus: Theseus is a modern OS written from scratch in Rust that explores 𝐢𝐧𝐭𝐫𝐚𝐥𝐢𝐧𝐠𝐮𝐚𝐥 𝐝𝐞𝐬𝐢𝐠𝐧: closing the semantic gap between compiler and hardware by maximally leveraging the power of language safety and affine ty
Theseus is a new OS written from scratch in Rust to experiment with novel OS structure, better state management, and how to leverage intralingual design principles to shift OS responsibilities like resource management into the compiler. For more info, check out Theseus's documentation or our published academic papers, which describe Theseus's design and implementation. Theseus is under active deve
Transparent memory offloading: more memory at a fraction of the cost and power
Transparent memory offloading: more memory at a fraction of the cost and power Transparent memory offloading (TMO) is Meta’s data center solution for offering more memory at a fraction of the cost and power of existing technologies In production since 2021, TMO saves 20 percent to 32 percent of memory per server across millions of servers in our data center fleet We are witnessing massive growth i
DPDKとは？ ～DPDK入門 第1回～ で、DPDKはカーネルをバイパスしてシステムコールを介することなく直接ハードウェアを制御することで、高速化を実現しているということを紹介しました。 Linuxではユーザが直接ハードウェアを制御するプログラムを作成するための、UIO(User space I/O)という仕組みを用意しています。例えば、通常ハードウェアの制御を行うレジスタはユーザがアクセスできないメモリ空間に置かれますが、UIOの仕組みを利用することでユーザ空間のメモリにマッピングされ、ユーザが作成したプログラムから制御することが出来ます。 DPDKでは、UIOを利用して直接NICを制御することで、より高速なパケット処理を実現しています。なお、UIOを利用してNICを制御するようにした場合、NICの制御がカーネルから外れるため、例えばethtool(※1)を利用してNIC情報を参照する
Help us understand the problem. What are the problem?
Netlink IPCを使ってLinuxカーネルのネットワーク情報にアクセスする - Hash λ Bye
背景 Linux networkingには下記のような様々な構成要素があります。 ネットワークデバイス 経路テーブル フィルタ etc. これらを操作する必要がある場合、一般的には iproute2 などのコマンドラインツールから操作を行うことが多いかと思います。 しかしOpenStackやKubernetesなどの大規模なクラスタを管理する環境では、複数ホストにまたがってネットワークを動的にかつ一貫した方法で構成することが求められます。 こうしたニーズを実現するために、Linux networkingの構成要素を自作のプログラムから直接制御することが最も効率的な場合があります。 NetlinkというLinuxのサブシステムはLinuxカーネル内のネットワーク関連リソースを制御します。このNetlinkサブシステムを活用することでネットワーク管理を自動化することができます。 概要 Netl
GitHub - harporoeder/ebpfsnitch: Linux Application Level Firewall based on eBPF and NFQUEUE.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
噂のpidfdをRustで試してみた - Qiita
仮想マシンのためのメモリ共有手法「ELISA」 メモリ分離を担保しつつ、低負荷で共有可能に
【海外ITトピックス】 「Fuchsia」が静かに製品化 Googleの“第3のOS”
2020年6月16日 Linux 5.8-rc1が公開、カーネルサイズは"Really Big" | gihyo.jp
カーネルクラッシュダンプ (Kdump) の概要と設定方法 - Qiita
Linux kernel 5.11 で追加された OverlayFS の非特権マウント
CVE-2021-22555: Turning \x00\x00 into 10000$
A memory model for Rust code in the kernel [LWN.net]
io_uringのサンプルを試してみた · hnakamur's blog
Linuxその2のカレンダー | Advent Calendar 2020 - Qiita
「Windows セキュリティ」に脆弱なドライバーのブロックリスト ～悪用可能なカーネルドライバーの実行を阻止してシステムを保護／エンタープライズセキュリティをよりアグレッシブに強化
Removing the Linux /dev/random blocking pool [LWN.net]
WindowsにLinuxカーネルの拡張機能「eBPF」実装へ
新メモリ: Persistent Memoryの動作検証 - Qiita
AWSでもsysctlやらなきゃならんのか・・・ - 中年engineerの独り言 - crumbjp
第49回 cgroup v2のリソース分配の方法とインターフェースファイルの操作 | gihyo.jp
Digging into Linux namespaces - part 1
「NetBSD 9.0」リリース、AArch64サポートが加わる | OSDN Magazine
リソース設定(NIC) ～DPDK入門 第6回～ | 技術畑 | 情報畑でつかまえて
TSO(TCP Segmentation Offload)について - Qiita