How TCP backlog works in Linux
When an application puts a socket into LISTEN state using the listen syscall, it needs to specify a backlog for that socket. The backlog is usually described as the limit for the queue of incoming connections. Because of the 3-way handshake used by TCP, an incoming connection goes through an intermediate state SYN RECEIVED before it reaches the ESTABLISHED state and can be returned by the accept s
パケットフィルターでトレーシング？ Linuxで活用が進む「Berkeley Packet Filter（BPF）」とは何か (1/3)：Berkeley Packet Filter（BPF）入門（1） - ＠IT
パケットフィルターでトレーシング？ Linuxで活用が進む「Berkeley Packet Filter（BPF）」とは何か：Berkeley Packet Filter（BPF）入門（1）（1/3 ページ） Linuxにおける利用が急速に増えている「Berkeley Packet Filter（BPF）」について、基礎から応用まで幅広く紹介する連載。初回は、BPFの歴史や概要について。 Berkeley Packet Filter（BPF）とは 読者の皆さんは「Berkeley Packet Filter（BPF）」というものをご存じでしょうか？ Berkeley Packet Filter（BPF）は、独自の命令セットを持つ仮想マシンの一つ。ざっくりと言ってしまえばBPFはユーザーランドからのコードをカーネル内で安全に実行するための枠組みです。 「Packet Filter」という名称
【RHEL7】sysctlのカーネルパニックオプション - のぴぴのメモ
sysctlのカーネルパニックオプション panicの整理 panic系パラメータの関係 それぞれのパラメータの挙動 kernel.panic kernel.panic_on_unrecovered_nmi kernel.unknown_nmi_panic kernel.panic_on_io_nmi kernel.panic_on_warn kernel.softlockup_panic kernel.hung_task_panic kernel.panic_on_stackoverflow vm.panic_on_oom sysctlのカーネルパニックオプション ちょいとカーネルパニックをどう設定すればよいかという話があって、ためしにsyscltをpanicでgrepすると、意外にというかpanicに関するパラメータがバラバラ出てきてどうすればよいかイマイチわからない。 # sysct
initramfsについて - Qiita
久々のQiita投稿がAdvent Calendarになった@akachochinです。異分野のソフトエンジニアから質問されたこと、個人的に不明瞭な箇所を調べてみたかったことがあり、今回はinitramfs周りの実装の基本的な部分をまとめました。 このあたり、地味ですが、知っていると評価用ボードでとりあえずのLinux環境を構築できたり、意外と有用です。 なお、ソースコードを引用したLinuxのバージョンは4.12.7, アーキテクチャは断りのない限り、amd64もしくはi386です。 initramfsとは initramfsの説明 Documentation/filesystems/ramfs-rootfs-initramfs.txt に概要が書かれています。 日本語訳もあります。このドキュメントはinitramfsを知るためには必読だと思います。 面倒くさい方のために(笑)、かいつま
IPVS のセッション同期パケットを作って送ろう - Qiita
IPVS について LVS Project には IPVS 以外にも KTCPVS などのソフトウェアがありますが、現在では LVS (Linux Virtual Server) と言うとほぼ IPVS のことを指しているように思います。 IPVS は Linux でロードバランサを構築するためソフトウェアで、Linux kernel 内部に実装されています。 基本的に L4 まで の情報を見てパケットをリアルサーバに転送するものです。 (FTP や SIP など、一部アプリケーションは上位レイヤの処理もできます) ipvsadm コマンドで設定を変更することもできますが、本番環境で利用する場合はヘルスチェックや HA などを求めて keepalived から IPVS を使うことが多いと思います。 ここでは IPVS におけるセッション同期の話題を主とします。 LVS (IPVS) 自体
第37回 Linuxカーネルのコンテナ機能 ― cgroupの改良版cgroup v2［1］ | gihyo.jp
この連載をはじめてから、毎年この連載の記事でAdvent Calendarに参加してきました。昨年までは、この連載の記事で"Linux Advent Calendar"に参加してきました。 今年は参加するカレンダーを少し変えて、まずはこの記事で私が所属する会社のAdvent Calendarであるファーストサーバ Advent Calendar 2017の5日目に参加してみます。あまりたくさんの人が興味を持たなさそうな話題なので、会社のAdvent Calendarにマッチするのか心配です (^_^;)。 さて、Linuxでコンテナでリソース制限を行うための機能として、この連載では第3回から第5回まで3回に渡ってcgroupについて解説しました。 cgroupは、多くのLinuxディストリビューションでinitとして採用されているsystemdが使っていますので、今やLinuxをお使いであ
LinuxのCPU使用率の%stealについて - Qiita
はじめに Linux で採取できるCPU使用量(率)の情報として、%user や %sys 等に加えて %steal という量がある。これが追加されたのは、仮想化が広く使われはじめた10年くらい前だろうか。筆者は Xen を調べていて気づいたのだが、もっと前にs390のために追加されたのかもしれない。当時、ESXの場合も含めて調べていたのだが、最近、KVMの場合にどういう実装になっているのか、ふと気になって軽く調べてみたのでメモ。 CPU使用率の計算 まず最初に、sar や vmstat や mpstat 等、さまざまなツールでCPU使用率を取得することができるわけだが、どのような情報を元に、どのような計算を行って算出しているのか？ まず、kernel内ではboot以後の各種実行モードのCPU時間を分類して積算値として保持している。user モード、特権モード、割り込み処理に使った時間..
Linux Kernel 3.0以降について調べてみた - Qiita
長いので太字で要点 絞るためにGPU、仮想関係は省いてます。 NWが長くなったので分割 http://qiita.com/bringer1092/items/b6cd96a7f7db7121e8a7 I/Oが長くなったので分割 http://qiita.com/bringer1092/items/4a62ec6ab62b896ab611 ハードウェアサポート 4.6 USB 3.1 SuperSpeedPlus (10 Gbps) support USB3.1のサポート SuperSpeedPlus (10 Gbps)サポート 4.12 USB Type-C support USB Type-Cのサポート Type-Cについて調べるとUSB PD(最大100Wの電力)規格、映像出力用に対応 セキュリティ周り 何を載せるか粒度が人によって大きく異るが 3.11 New O_TMPFILE o
Application Pauses When Running JVM Inside Linux Control Groups
Application Pauses When Running JVM Inside Linux Control Groups Linux cgroups-based solutions (e.g., Docker, CoreOS) are increasingly being used to host multiple applications on the same host. We have been using cgroups at LinkedIn to build our own containerization product called LPS (LinkedIn Platform as a Service) and to investigate the impact of resource-limiting policies on application perform
Linux スケジューラーのコア実装とシステムコール - Qiita
はじめに これは Linux Advent Calendar 2016 の第 11 日目の記事です。Linux のタスクスケジューラーのソースコードや関連するドキュメントなどを読んで分かったことをまとめました。とても長いです・・・ はじめにスケジューラーのアーキテクチャと重要な概念を紹介し、その後はスケジューラーコアとシステムコールの実装について分かったことを延々と述べます。調べきれなかったことや分からなかったことは TODO に残したので、コメント欄とかツイッターで教えてもらえると嬉しいです。間違いの指摘も大歓迎です。 ちなみに私が読み始めたきっかけは、スケジューラーのアーキテクチャ、スケジューリングアルゴリズム、スケジューリングアルゴリズムの切り替え方、nice 値やプロセッサアフィニティがスケジューリングに及ぼす影響、プリエンプションの流れ、マルチプロセッサにおけるタスクのロードバラ
Linuxネットワークドライバの開発 - Handwriting
この記事はLinux Advent Calendar 2016 9日目の記事です。 遅刻してしまい申し訳ございません。。。 とある事情があって1ヶ月半ほど独自NICのLinux向けのネットワークドライバを開発していた。 今回はARM用のデバイスドライバを開発した。NICはXilinx社のFPGAであるZYBOを用いて開発した。 まだ十分に実用段階というわけではないが、ひとまず独自NIC経由でのpingやiperfが通ったので、後学のために知見を残しておきたい（誰得だ、という感じだが）。 ソースコードはまだ公開されていないが、そう遠くないうちに公開する予定（たぶん）。 はじめに Linuxのデバイスには キャラクタデバイス - バイト単位のデータ通信 (e.g. シリアルポート) ブロックデバイス - ブロック単位のデータ通信 (e.g. ディスク) ネットワークデバイス の3種類がある。ネ
カーネルにおけるタイマー事情 | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
Linux カーネルにおけるタイマー事情 ～第4回 タイマーハードウェアの抽象化～ 2015/03/11 技術本部 技術部長補佐 箕浦 真 Linuxでは、タイマーハードウェアを 2種類に分類し、それぞれ抽象化してカーネルに機能を提供しています。 Clocksource – 時間の読み取り Clockevents – 指定時刻に割り込み Linux の動作するシステムでは、計時、割り込みともに複数のハードウェアを持つことが普通ですが、ストレージなどとは異なり、いずれも同じ働きをします。そこで、各ハードウェアに対応するデバイスドライバが、精度やアクセス速度などに基づいて rating を定め、システムが rating の高いものを選択して利用します。
第31回 LXC 1.1［2］ | gihyo.jp
LXC 1.1をのんびり紹介しているうちに、Ubuntu 16.04 LTSに向けて、次のバージョンのリリースが間近になってしまいました。うかうかしているとLXC 1.1の紹介が終わらないうちに、LXC 1.1がEOLになってしまいそうなので、慌てて今回の記事を書きました。 LXC 1.1の次は1.2かと思っていたら、linuxcontainers.org関連のプロダクトであるLXC、LXD、LXCFSすべてをバージョン2.0で揃えてリリースするようです。もうひとつ、cgmanagerというプロダクトがありましたが、こちらはLXCFSの進化に伴い不要となりましたので、今後は開発が終息していくようです。 1.1から2.0はそれほど大きな変更はなく、ライブラリについてもABIレベルでの互換性が維持されるようです。もちろん第29回と今回、LXC 1.1の新機能として紹介した機能はそのまま2.0で
Linux のページテーブルのサイズの見方と見積式 - ablog
Linux Kernel 2.6 (x86-64) でのページテーブルのサイズの確認方法と見積式を調べてみた。 あっているか自信のないところもある＆まだ書きかけ。 ページテーブルのサイズの見方 OS全体のページテーブルのサイズ $ cat /proc/meminfo MemTotal: 16158544 kB MemFree: 13134056 kB (中略) PageTables: 34428 kB ★ 34MB プロセス毎のページテーブルのサイズ $ cat /proc/10225/status # 10255 は PID Name: zsh State: S (sleeping) Tgid: 10225 Pid: 10225 PPid: 10222 (中略) VmPTE: 124 kB ★ 124KB ページテーブルのサイズの見積式 見積式 (プロセスが使用している物理メモリサイズ
Linux BPF Superpowers
Video: https://www.facebook.com/atscaleevents/videos/1693888610884236/ . Talk by Brendan Gregg from Facebook's Performance @Scale: "Linux performance analysis has been the domain of ancient tools and metrics, but that's now changing in the Linux 4.x series. A new tracer is available in the mainline kernel, built from dynamic tracing (kprobes, uprobes) and enhanced BPF (Berkeley Packet Filter), aka
EBPF and Linux Networking
In this session, we’ll review how previous efforts, including Netfilter, Berkley Packet Filter (BPF), Open vSwitch (OVS), and TC, approached the problem of extensibility. We’ll show you an open source solution available within the Red Hat Enterprise Linux kernel, where extending and merging some of the existing concepts leads to an extensible framework that satisfies the networking needs of datace
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Design & Implementation of Modern Router with Docker + Linux for home and small office
The BSD Packet Filter
Linuxカーネルソースの減量
YakketyYak/ReleaseNotes - Ubuntu Wiki