Red Hat でコンサルタントをしている菅原と申します。 この記事では、意外とあまり説明されていないような気がする Linux システムで発生するハングタスクについて少し説明したいと思います。現場のシステムでもハングタスク検知の設定がされていることが多いと思いますが、ハングタスクとは何なのかを正しくご理解いただくことで、ハングタスク検知を行う目的が明確になること、また、実際の障害事例もご紹介することで、通常あまりハングタスクと関連づけて考えないような設定でもハングタスク発生につながる場合があることを知っていただき、少しでもシステム管理や障害の理解、障害対応などのお役に立てれば幸いです。 なお、この記事では RHEL のみを対象に書いていますが、他の Linux ディストリビューションにも適用される内容と思います。 ハングタスク (hung tasks) とは ハングタスクとは読んで字のご
はじめに マイクロアドでインフラエンジニアをしている柏木です。 マイクロアドでは広告配信に高速なKVSであるRedisを使用しています。 Redisはシングルスレッドでの高速性、安定性を売りにしていました。しかし6.0でマルチスレッド機能であるThreded I/Oが追加されました。 広告配信で多用している、Redisを高速化できるのであれば積極的に導入したいので検証を行いました。 はじめに Threded I/Oとは シングルスレッドでのRedisの処理 マルチスレッドでのRedisの処理 io-threads io-threads-do-reads + io-threads 検証環境 OSの追加設定 今回の検証結果 前提条件 指標の取得方法について loopbackアドレスを利用した検証 実行CPUの指定 Redisの起動コマンド Redisのconfigについて 暖機運転 検証1：I
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
The SYZBOT CTF
目次 第０章 概要 0.1 syzbot とは？ 0.2 主な登場人物紹介？ 0.3 自己紹介：熊猫の Linux との関わりについて 0.4 今日のお話「バグハンティング」 第１章 Linux カーネルについて 1.1 Linux カーネルの規模について 1.2 Linux カーネルの制約事項について 1.3 Linux カーネルのデバッグ支援機能について 第２章 カーネルメッセージを読めるようにするための試行錯誤について 2.1 printk() に求められているものとは？ 2.2 複数行分のメッセージをバッファリングする試み（２０１７年４月～） 2.3 メッセージ本文中にコンテキスト情報を埋め込む試み（２０１８年４月～） 2.4 １行分のメッセージをバッファリングする試み（２０１８年６月～） 2.5 再び１行分のメッセージをバッファリングする試み（２０１８年９月～） 2.6 再挑戦（
レッドハットでコンサルタントをしております織と申します。赤帽エンジニア Advent Calendar 2019の5日目のエントリーです (6日目の方が先に出ちゃいましたが)。 本記事では、「レッドハットが考えるNFV環境向けのチューニング」についてご紹介します。 前提 NFV環境向けのレッドハットの製品は、現時点ではOpenStackが相当します。レッドハットの考えるOpenStackを使ったNFV環境とはどういうものかというと、 KVMホスト(OpenStackコンピュートノード)上でSR-IOVもしくはOVS-DPDKを使い 仮想マシン上でDPDKのアプリをぶん回し ショートパケットの通信でなるべくパケットをドロップしない というユースケースを想定しています。 仮想マシン上で稼働するDPDKアプリがパケットを落とさないようにするためには、DPDKのPMD(Poll Mode Driv
BusyBoxを使って、単一で実行可能なコマンドのバイナリをDockerコンテナ内に放り込む - CLOVER🍀
これは、なにをしたくて書いたもの？ Dockerコンテナ内で解析などの作業をする必要が出た時に、コマンドなどが入っていないDockerイメージが相手の場合は どうすればいい？という時の選択肢のひとつとして、BusyBoxが使えそうな気がしたので。 BusyBox Case 例えば、以下のようにDebianのDockerイメージを使った時に、デフォルトではpsやmpstatなど、調べものをする際に 使いたいコマンドが入っていません。 $ docker container run -it --rm --name debian debian:stretch root@f28f50fe47ca:/# ps bash: ps: command not found root@f28f50fe47ca:/# wget bash: wget: command not found root@f28f50fe
Writing a scheduler for Linux in Rust that runs in user-space
Overview I’ve decided to start a series of blog posts to cover some details about scx_rustland, my little Linux scheduler written in Rust that runs in user-space. This project started for fun over the Christmas break, mostly because I wanted to learn more about sched-ext and I also needed some motivation to keep practicing Rust (that I’m still learning). In this series of articles I would like to
macOS 10.15 Catalinaでは「watchdog timeout」によりMacがカーネルパニックに陥る不具合があるもよう。
macOS 10.15 Catalinaでは「watchdog timeout」によりMacがカーネルパニックに陥る不具合があるようです。詳細は以下から。 Appleが現地時間2020年07月15日にリリースした「macOS Catalina 10.15.6 Build 19G73」では、VMware FusionやVirtualBoxなどの仮想ソリューションを利用すると、仮想マシンがクラッシュし、最終的にホスト側のMacでカーネルパニックが発生する不具合が確認されていますが、この不具合が報告されているスレッドでは、一部の不具合は仮想化ソリューションが原因ではなく、システムの機能を監視する「watchdog (watchdog timer)」がタイムアウトになり、カーネルパニックに陥る問題もあるため一部のパニックレポートだけでは判断が難しいそうです。 I would like to ask
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. At the 2019 Linux Storage, Filesystem, and Memory-Management Summit (LSFMM) I gave a keynote on BPF observability that included a kernel issue I had debugged on Netf
GitHub - Blackjacx/WWDC: You don't have the time to watch all the WWDC session videos yourself? No problem me and many contributors extracted the gist for you 🥳
WWDC 2020 Session Notes Thank You 🎉 Last years WWDC Session Notes was so successful that I decided to continue this form of WWDC session summary. I would like to take the moment to thank all of you for contribution, feedback, support and reading my session notes 🙏 Intro Usually it is much faster to read through some bullet points instead of watching a 50 min session video. Then if you find somet
AWS DataSync エージェントを EC2 インスタンスにデプロイしてパブリックと VPC Endpoint それぞれでアクティブ化してみた | DevelopersIO
コンバンハ、千葉（幸）です。 AWS DataSync は、各種ストレージサービス間でのデータ転送をシンプルかつ高速に実現してくれるサービスです。 S3 や EFS などの AWS 上のサービスや、オンプレで稼働している NFS 、 SMB ストレージ などをロケーションとして定義し、それらを送信先/宛先として組み合わせることで、データ転送が実現できます。 各ロケーションには AWS DataSync エージェント が接続し、データ転送を中継します。エージェントは AWS 上、オンプレ上どちらでも構成することが可能です。 今回は AWS 上の EC2 インスタンスで稼働させる方式でセットアップし、アクティブ化が成功するところまでを試してみます。 目次 AWS DataSync コンポーネントのおさらい エージェント ロケーション タスク やってみた EC2 インスタンスの作成 作成した E
Data ONTAP® 8.2 High Availability and MetroCluster Configuration Guide For 7-Mode October 2020 | 215-08524_B0 doccomments@netapp.com Updated for 8.2.1 Contents Understanding HA pairs................................................................................................. 8 What an HA pair is....................................................................................................
例のごとくATOM Cam2を使い倒す(telnetdとftpdを使う) - honeylab's blog
さて、ATOM Cam2ですが、例のごとくONVIF対応もなく、 NAS対応がされていないようで、せっかく防水外部設置ができるのに、例えばmicroSD内のファイルを一括ダウンロードするような操作のために本体にアクセスしなければいけなかったりしていまいち使いにくいです。 （NAS対応についてですが内部的には対応しているようですが、IPアドレスなどの設定情報を書き込むUIが無いために動作していないように見えます） 起動ログにはNASに関するメッセージが出ている ということで、ATOM Cam2を遠隔操作、自動化するための方法をまとめておきます。 できること ・telnetによるシェル操作 ・ftpによるファイル転送 注意 ・上記の機能追加はセキュリティ上の脆弱性となります。パスワードを適切に設定したり、アクセスポイントに対するセキュリティを強化するなど、十分な対策を行う必要があります。 また
はじめに Mac は、たまに、以下のような感じで不安定になってしまうことがある。アプリを使っていると、特に理由もなくそのアプリが突然落ちる。最新の状態にアップデートしたアプリなのに、なぜかこの現象が頻繁に発生してしまう。アプリを使っていると、突然 kernel panic で Mac が再起動してしまう。何もしないで放置しているのに、気がつくと kernel panic で Mac が再起動している。 この現象は、macOS の環境をかなり昔のメジャーバージョンから長い期間アップグレードし続けていると、ある日突然発生する可能性がある。このような現象が発生してしまったら、以下の対応を順番に実行することをお勧めする。 ⇒ なお、本ナレッジの解説は macOS Catalina (バージョン 10.15) を前提としている。 Mac を安定させるコツ ① 全てのストレージに First Aid
Linux 5.2 was released on 7 July 2019. Summary: This release includes Sound Open Firmware, a project that brings open source firmware to DSP audio devices; open firmware for many Intel products is also included. This release also improves the Pressure Stall Information resource monitoring to make it usable by Android; the mount API has been redesigned with new syscalls; the BFQ I/O scheduler has g
PhoenixMiner 6.2c: fastest Ethereum/Ethash miner with lowest devfee (Win/Linux)
Topic: PhoenixMiner 6.2c: fastest Ethereum/Ethash miner with lowest devfee (Win/Linux) (Read 784626 times) IMPORTANT! If you get "certificate verify failed" errors on SSL connections (especially to eu1.ethermine.org), you must upgrade to PhoenixMiner 6.1b or later. The problem was caused by expired root certificate. IMPORTANT! You can find the latest version of PhoenixMiner (as well as older rele
SecurityThe Android kernel mitigations obstacle raceIn this post I’ll exploit CVE-2022-22057, a use-after-free in the Qualcomm gpu kernel driver, to gain root and disable SELinux from the untrusted app sandbox on a Samsung Z flip 3. I’ll look at various mitigations that are implemented on modern Android devices and how they affect the exploit. In this post, I’ll exploit a use-after-free (UAF) bug,
Node.js — Node v12.5.0 (Current)
Notable changes build: The startup time is reduced by enabling V8 snapshots by default #28181 deps: Updated V8 to 7.5.288.22 #27375 The numeric separator feature is now enabled by default Updated OpenSSL to 1.1.1c #28211 inspector: The --inspect-publish-uid flag was added to specify ways of the inspector web socket url exposure #27741 n-api: Accessors on napidefine* are now ECMAScript-compliant #2
Node.js — Node v13.11.0 (Current)
Notable Changes async_hooks: add sync enterWith to ALS (Stephen Belanger) #31945 cli: allow --jitless V8 flag in NODE_OPTIONS (Andrew Neitsch) #32100 fs: return first folder made by mkdir recursive (Benjamin Coe) #31530 n-api: define release 6 (Gabriel Schulhof) #32058 os: create a getter for kernel version (Juan José Arboleda) #31732 wasi: add returnOnExit option (Colin Ihrig) #32101 Commits [478
Linux 5.11 was released on Sun, 14 Feb 2021 Summary: This release adds supports for a new mechanism that lets software like wine handle windows syscalls in a much faster and clean manner; support for unprivileged overlayfs mounts; support for Intel SGX enclaves; support for upcoming AMD and Intel graphics hardware; faster performance and data recovery options in Btrfs; support for re-exporting via
Node.js — Node v16.17.0 (LTS)
Notable Changes Experimental command-line argument parser API Adds util.parseArgs helper for higher level command-line argument parsing. Contributed by Benjamin Coe, John Gee, Darcy Clarke, Joe Sepi, Kevin Gibbons, Aaron Casanova, Jessica Nahulan, and Jordan Harband - #42675 Experimental ESM Loader Hooks API Node.js ESM Loader hooks now support multiple custom loaders, and composition is achieved
Julia 1.6 Highlights
24 March 2021 | Jeff Bezanson, Ian Butterworth, Nathan Daly, Keno Fischer, Jameson Nash, Tim Holy, Elliot Saba, Mosè Giordano, Stefan Karpinski, Kristoffer Carlsson Julia version 1.6 has been released. Most Julia releases are timed and hence not planned around specific features, but this release was an exception since it is likely to become the next long-term support (LTS) release of Julia. Becaus
# SPDX-License-Identifier: GPL-2.0+ # # (C) Copyright 2000 - 2013 # Wolfgang Denk, DENX Software Engineering, wd@denx.de. Summary: ======== This directory contains the source code for U-Boot, a boot loader for Embedded boards based on PowerPC, ARM, MIPS and several other processors, which can be installed in a boot ROM and used to initialize and test the hardware or to download and run application
[Ansible/EDA] カスタム の Decision Environment (DE)を ansible-builder でビルドする - てくなべ (tekunabe)
はじめに EDA Controller では、Rulebook を実行するために Decision Environment（画面上の文言は "決定環境" ）が必要です。実態は利用するコンテナイメージの指定です。Automation Controller が Playbook を実行するために、Execution Environment（EE、実行環境）が必要なのと同じような関係です。ansible.eda コレクションを含む標準的なものもありますが、ほかのコレクションを含めたいときなどではカスタム Decision Environment をビルドする必要があります。 本記事では、カスタムの Decision Environment のビルドを試したときのことをまとめます。やや試行錯誤も含まれます。 今回は環境の都合上、Rulebook のアクティベーションを作成できるところまでの簡単な動
![[Ansible/EDA] カスタム の Decision Environment (DE)を ansible-builder でビルドする - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/168bf5b0bb47cf82a0e6c2b07963e4dfcc13639c/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fakira6592%2F20230719%2F20230719155821.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux でのハングタスクについて - 赤帽エンジニアブログ
redis threadedI/Oの検証 - MicroAd Developers Blog
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
レッドハットが考えるNFV環境向けのチューニング - 赤帽エンジニアブログ
Kernel analysis with bpftrace [LWN.net]
High Availability and MetroCluster Configuration Guide
Knowledge - オープンソースのナレッジベース
Linux_5.2 - Linux Kernel Newbies
The Android kernel mitigations obstacle race
Linux_5.11 - Linux Kernel Newbies
GitHub - u-boot/u-boot: "Das U-Boot" Source Tree