Linux Pipes are Slow | Quentin Santos
vmsplice is too fast Some programs use a particular system call “vmsplice” to move data faster through a pipe. Francesco already did a deep dive on using vmsplice to make things fast. However, while experimenting with it, I noticed that, when not using vmsplice, Linux pipes are slower than what I would have expected. Since you cannot always use it, I wanted to understand exactly why that was, and
【Linux】tcpdumpを使って通信しているパケットのtlsバージョンを調べるメモ - 地方エンジニアの学習日記
背景 提供しているサービスに対してクライアントがどのTLSバージョンで来ているのかを調べるみたいな場合にサーバのログで出せれば一番手っ取り早いですが「そんな機能ないよ！」みたいな場合も往々にしてあると思い、「その場合はどうするのが良いんだろう？」と思って調べた記事です。そんなケースがあるのかは分からないですが勢いで調べてみました。(絶対のログの形式を変えてはいけないみたいなケースとかあるのかな。) 結論だけ書くとtcpdumpした結果をうまくawkなりでなんなりでパースすればいい感じにバージョンの統計データが取れそうでした。やりたくはないですがw 実験 TLS通信で使われているバージョンをtcpdumpを使って調べるための方法。打つコマンドは以下。 今回やりたいのクライアントが使用してくるTLSのバージョンを知りたいのでtcpdumpではTLSハンドシェイクに絞って実行していく。tcpヘッ
Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 - Qiita
Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 0.目的 インフラ開発者として、必須な性能分析を身につけることを目的としています。 カーネルパラメータをチューニングをする際に性能分析を前提とし、分析結果からチューニングしていきますが、具体的な指標というものが少ないので参考になれば幸いです。 基本的なvmstatの使い方については、ちょっとググればいくらでも出てくるので割愛します。 「Linuxカーネルパラメータのチューニング＆設計」でロードアベレージが高い状態にある場合、次のアクションとしてCPU使用率の確認が必要となりますので、vmstatの結果分析および対処法について深堀していきます。 よって、vmstatの結果分析と対処法を理解すると性能試験を実施した際のその対処法とカーネルパラメータによるチューニングする対象が理解できるかと思います。 1.パフォ
サポート切れのCentOS 6/7から最新Linux OSへの自動アップグレードツール「ELevate」がアップデート。ハードウェア互換性チェック、サードパーティリポジトリ対応など
サポート切れのCentOS 6/7から最新Linux OSへの自動アップグレードツール「ELevate」がアップデート。ハードウェア互換性チェック、サードパーティリポジトリ対応など AlmaLinuxを開発提供しているAlmaLinux OS Foundationは、すでにサポートが終了しているCentOS Linux 6/7からAlmaLinuxやRocky Linuxなど、いわゆるRed Hat Enterprise Linuxのクローンや派生Linux OSへ、OSを再インストールすることなく自動的にインプレースアップグレードしてくれるツール「ELevate」のアップデートを発表しました。 ELevate has received the biggest update since 2021 when we first announced the project! See what's
第56回 Linuxカーネルのコンテナ機能 - cgroup v2から使うメモリコントローラ（1） | gihyo.jp
前回は、カーネルのお話から一度離れて、LinuxContainersプロジェクトから発表されたIncusというプロダクトを紹介しました。 少し間が空いてしまいましたが、今回からはまたLinuxカーネルの機能紹介に戻りましょう。第53回、第54回で紹介したCPUコントローラの話に続いて、メモリコントローラのお話をします。 メモリコントローラについては、以前、第5回で簡単に説明しています。このときの説明はcgroup v1のメモリコントローラを説明しました。今回は、cgroup v2のメモリコントローラを紹介します。 メモリ回収処理とメモリ負荷 コントローラを説明する前に、メモリコントローラを説明する前提となる、メモリの回収処理とメモリ負荷について簡単に紹介します。さらに詳しい情報については、Linuxカーネルの解説文書などをご参照ください[1]。 OS実行中には、色々とメモリを使う要素が存在
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
CrowdStrikeは数ヶ月前にDebianとRocky Linuxを破壊していたが誰も気づかなかった | ソフトアンテナ
CrowdStrikeは数ヶ月前にDebianとRocky Linuxを破壊していたが誰も気づかなかった 2024 7/20 Windowsデバイスで広範囲にブルースクリーン・オブ・デス(BSOD)が発生し、航空会社、銀行、医療機関など、さまざまな分野で業務が中断しています。 原因は、クラウドベースの総合セキュリティソリューション「CrowdStrike Falcon」のアップデートによって配信されたドライバーファイルにあり、CrowdStrikeは問題を認め、MacやLinux PCには影響しないと説明しています。 今回の問題は突然発生したかのように思えますが、実は同じような問題が数ヶ月前にも発生し、DebianとRocky Linuxのユーザーが大きな影響を受けていたことがわかりました(Neowin)。 Hacker Newsによると今年の4月、CrowdStrikeのアップデートによ
OpenSSHの脆弱性 CVE-2024-6387についてまとめてみた - piyolog
2024年7月1日、OpenSSHの開発チームは深刻な脆弱性 CVE-2024-6387 が確認されたとしてセキュリティ情報を発出し、脆弱性を修正したバージョンを公開しました。この脆弱性を発見したQualysによれば、既定設定で構成されたsshdが影響を受けるとされ、影響を受けるとみられるインターネット接続可能なホストが多数稼動している状況にあると報告しています。ここでは関連する情報をまとめます。 概要 深刻な脆弱性が確認されたのはOpenSSHサーバー（sshd）コンポーネント。脆弱性を悪用された場合、特権でリモートから認証なしの任意コード実行をされる恐れがある。 悪用にかかる報告などは公表時点でされていないが、glibcベースのLinuxにおいて攻撃が成功することが既に実証がされている。発見者のQualysはこの脆弱性の実証コードを公開しない方針としているが、インターネット上ではPoC
Kodama's tips page
Kodama's home 適宜, 加筆/修正しています. PowerShell, LaTeX/latex2html, Ruby, プログラミング, Linux での調べ方, Linux/UNIX, いろいろごっちゃ, このページの利用について 最近の文書 PowerShell の概要 PowerShell の文法 CSV の PowerShell への読み込み メールサーバ管理／サイト管理の調査 .forward で簡易着信通知 LaTeX で増減表に用いる曲った矢印 "the quick brown fox..." って何よ？ 文字の出現頻度を調べる. LaTeX 文書の編集に emacs のアウトライン モード を使う LaTeX で作成する PDF のフォント埋め込み LaTeX \section などで箇条書きのように字下げする方法 Linux ディスクキャッシュの開放 Linu
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る また、過去ではなく未来方向、つまり Bell Lab で Unix の successor として生まれた Plan 9 や Inferno における tar についてはこちらで lufia 氏がまとめておられたので参考にどうぞ。Plan 9とInfernoにおけるtar(1)の変化 Introduction 前回の記事では、tar(1)が Unix v1 (1971) のtap(1)まで遡ること、 また、その引数は key というサブコマンドの原始的な姿のようなものだったことを調査した。 さて、実は Unix v1 Programmer's Manual の栄えある最初のページを飾るコマンドは今でもスタティックリンクライブラリの作成などで使われる ar(1) であり、 こち
tar(1) はなぜオプション引数にハイフンが不要なのか？
TL;DR tar(1)の引数はオプションではなくkeyだから 歴史 tar(1)は Unix v7 (1979) で導入されたが、その前身は Unix v4 (1973) の tp(1)、更にこれは Unix v1 (1971) の tap(1) に遡る。 80年代に入りSystemV v.s. BSDといったことが起きたりし、PWB/UNIX (Programmer's WorkBench)で導入された cpio(1)とtar(1)、どちらがUnixの標準アーカイバか争われた結果、IEEE Std. 1003.1-2001 (POSIX.1-2001) を以って tar(1)は規格から削除され、代わりに IEEE Std 1003.2-1992 で導入された折衷案のpax(1)が標準となった。よって、現在実装中立なtar(1)の仕様書がそもそも存在しない。最後の中立規格は1997―19
「Linux」でのトラブルシューティングで知っておくべきコマンド5選
Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-06-20 07:45 「Linux」の悪口を言いたい人にとっては非常に残念なことだが、このOSは実際にとても使いやすい。現代的なGUIデスクトップ環境とアプリケーションのおかげで、誰でもすぐに使いこなすことが可能だ。 しかし、まれにトラブルが発生することもある。そういうときのために、便利なコマンドをいくつか知っておくといいかもしれない。問題は、Linuxには利用可能なコマンドが非常に多いため、どのコマンドが最適な選択肢なのかを判断するのが難しいことだ。 もちろん、システム情報を表示するコマンド（top、free、iostat、htop、vmstat、iftopなど）を学んでもいいが、それらのツールでできることは限られている。それよりも価値があるのは、問題が発生した場合に備えて、本当に役に立
新Linuxカーネル解読室 - ソケットインターフェース(データ構造と概要編) - VA Linux エンジニアブログ
「Linuxカーネル2.6解読室」（以降、旧版）出版後、Linuxには多くの機能が追加され、エンタープライズ領域をはじめとする様々な場所で使われるようになりました。 それに伴いコードが肥大かつ複雑化し、多くのエンジニアにとって解読不能なブラックボックスとなっています。 世界中のトップエンジニア達の傑作であるLinuxカーネルにメスを入れ、ブラックボックスをこじ開けて、時に好奇心の赴くままにカーネルの世界を解読する「新Linuxカーネル解読室」プロジェクト。 本稿では、旧版第21章で解説されていたソケットインターフェースについて、カーネルv6.8のコードをベースに主にデータ構造を中心に解説します。 はじめに ソケットの実体と概要 ソケット操作関数の実装 ファイル操作関数によるソケット操作の実装 次回予告: ソケット生成編 執筆者 : 須田 哲志、稲葉 貴昭 ※ 「新Linuxカーネル解読室」
インシデント発生時に電源を入れたままにすべきか問題 - Qiita
更新履歴 2024/6/28 ネットワーク遮断の是非について追記しました。 はじめに とあるセキュリティインシデントにおいて、サーバを電源ケーブルごと引き抜いたという対応が行われ、X（Twitter）ではこの対応について賛否両論が見られました。このうち電源を入れたままにすべきという人の意見には、「マルウェアの中にはシャットダウンすることで自分自身を削除し、感染痕跡を削除するものがある」「メモリを調査すべきなのでシャットダウンすべきではない」のような意見が見られました。 本記事では実際にメモリからどのような情報がわかるか、そしてメモリダンプを解析することの有用性と課題について記載します。 また、インシデント発生時の特に封じ込めフェーズについても考察します。 メモリフォレンジック セキュリティインシデントにおいてはフォレンジック調査が行われる場合があります。フォレンジック調査には、HDDやSS
Linuxの生みの親リーナス・トーバルズが「XZ Utils問題」「オープンソース開発」「RISC-V」「AIの台頭」などについて語る
The Linux Foundationが2024年4月16日から18日にかけて開催したOpen Source Summit North Americaの中で、Linuxの生みの親でLinuxカーネル開発の優しい終身の独裁者としても知られるリーナス・トーバルズ氏が、Verizonのオープンソースプログラムオフィス責任者であるディルク・ホーンデル氏とともに、Linux開発と関連する問題について公開での議論を行いました。 Linus Torvalds on Security, AI, Open Source and Trust - The New Stack https://thenewstack.io/linus-torvalds-on-security-ai-open-source-and-trust/ Linus Torvalds takes on evil developers, ha
Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い
LinuxにおけるSegmentation OffloadとはTCPなどのトランスポートレイヤのプロトコルが送信するデータをMTUに収まるように分割する処理(Segmentation)をNICのレイヤにオフロードすることによってスループットを向上させる技術です. Segmentation Offloadを使った場合, トランスポートレイヤのプロトコルはIPレイヤで許容される最大のサイズ(64KB程度)までのデータを1つのIPパケットで送信することができます. 受信側は逆にネットワークから入ってきたSegmentation済みのパケットをNICのレイヤで1つの大きなIPパケットに集約した上でプロトコルスタックの処理にかけます. これによってプロトコルスタックで処理されるパケットの個数を減らすことができるため, スループットが上がるという仕組みです. Linuxには仮想ネットワークデバイスとい
xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 | gihyo.jp
Linux Daily Topics xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 “アップストリームのxzリポジトリとxz tarballsはバックドア化されている（The upstream xz repository and the xz tarballs have been backdoored）”―2024年3月29日、Microsoftに所属する開発者 Andres Freundが「Openwall.com」メーリングリストに投稿したポストは世界中のオープンソース関係者に衝撃を与えた。 backdoor in upstream xz/liblzma leading to ssh server compromise -oss-security 主要なLinuxディストリビューションにはほぼ含まれているデータ圧縮プログラ
Linuxのwallコマンドにパスワード流出につながる脆弱性、更新を
Bleeping Computerは3月28日(米国時間)、「Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords」において、Linuxの「wall」コマンドから脆弱性が発見されたとして、注意を喚起した。この脆弱性を悪用することで、複数のユーザーが端末に接続する環境において、偽の「sudo」コマンドのプロンプトを表示して管理者パスワードを窃取できるリスクがある。 Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords 脆弱性「CVE-2024-28085」の概要 wallコマンドはLinuxにログインしているすべてのユーザーにメッセージを送信するコマンド。システムを再起動する際などに残り時間や警告を通知する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「/usr」は「User」の略にあらず？ Linuxのディレクトリ構造を解説したチャートが話題に／Windowsユーザーも知っておくとWSLを壊さずに済むぞ【やじうまの杜】
新Linuxカーネル解読室 カテゴリーの記事一覧 - VA Linux エンジニアブログ
