_Details)
Linux Multi-Queue Block IO Queueing Mechanism (blk-mq) Details - Thomas-Krenn-Wiki-en
Blk-mq integrates seamlessly into the Linux storage stack. It provides basic functions to device drivers for mapping I/O enquiries to multiple queues. The tasks are distributed across multiple threads and therefore to multiple CPU cores (per-core software queues). Blk-mq compatible drivers inform blk-mq how many parallel hardware queues a device supports (number of submission queues as part of the
MySQL 101: Monitor Disk I/O with pt-diskstats
Here on the Percona Support team we often ask customers to retrieve disk stats to monitor disk IO and to measure block devices iops and latency. There are a number of tools available to monitor IO on Linux. iostat is one of the popular tools and Percona Toolkit, which is free, contains the pt-diskstats tool for this purpose. The pt-diskstats tool is similar to iostat but it’s more interactive and
TuningRRD – RRDtool Trac
Tuning RRDtool for performance RRDtool minimizes writing to disk by using circular buffers. If you run a small deployment of RRDtool with a few hundred rrd files, you will find RRDtool to be very fast in updating its rrd files. If your installation runnins into 50k or 100k or even more rrd files, things may be less speedy. Background Information To understand RRDtool performance tuning, you must k
Linux Storage Stack Diagram - Thomas-Krenn-Wiki-en
The Linux Storage Stack Diagram shows the layout of the the Linux storage stack. Downloads Diagram for Linux Kernel 6.9 Linux Storage Stack Diagram v6.9): Linux I/O Stack Diagram v6.2 (20230309): ZIP (includes .drawio and .svg) PDF PNG Changelog: dm-vdo added (Kernel 6.9) ext2 removed (Kernel 6.9, ext2 wird nun so wie ext3 auch durch den ext4 Code unterstützt) bcachefs added (Kernel 6.7) EROFS add
SSDにしたのでI/Oスケジューラを noop に変更してみた - ablog
PC の HDD を SSD に変更したので、I/Oスケジューラを noop に変更してみた。 SSD は HDD のようにシーク（目的のレコードが記憶されたシリンダにヘッドを移動）したり、サーチ（目的のセクタの先頭がヘッドの位置に来るのを待つ）したり、物理的な動きはない。なので、OSのI/OスケジューラでソートなんかせずにI/Oリクエストを渡してくれたほうが速いとという話だと思う。 簡単に noop が速いことを検証した上で、noop に変更した。 cfq I/Oスケジューラを cfq に設定する [root@yazekats-linux queue]# echo cfq > /sys/block/sda/queue/scheduler [root@yazekats-linux queue]# cat /sys/block/sda/queue/scheduler noop deadlin
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
Optimizing SSDs random IOPs
Optimizing SSD random IOPS The script Some time ago I was asked how to max out the random IO performance of an SSD RAID0 array. Here is what I came with after experimenting with fio and perf top. ls /sys/class/block/|while read device do # SSD random iops are better with no scheduler if [ -f /sys/class/block/$device/queue/scheduler ]; then echo noop> /sys/class/block/$device/queue/scheduler fi # I
High Performance I/O with NUMA Systems in Linux
Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved. Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved. High Performance I/O with NUMA Systems in Linux Lance Shelton How prevalent is NUMA? ▸ All major vendors • HP, Dell, IBM, Cisco, SuperMicro, Hitachi, etc. ▸ As small as 1U ▸ 2, 4, and 8 socket systems ▸ 2 to 10 cores per socket ▸ Number of cores
Your Linux AMI: Optimization and Performance (CPN302) | AWS re:Invent 2013
Your Linux AMI: Optimization and Performance (CPN302) | AWS re:Invent 2013 Your AMI is one of the core foundations for running applications and services effectively on Amazon EC2. In this session, you'll learn how to optimize your AMI, including how you can measure and diagnose system performance and tune parameters for improved CPU and network performance. We'll cover application-specific example
WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
VFS and Block I/O
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. VFS and Block I/O VA Linux Systems Japan Hirotaka.Sasaki sasaki@valinux.co.jp Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. 目次 ● ファイルシステム概要 ● VFS（仮想ファイルシステム） ● ページキャッシュとバッファキャッシュ ● ブロックI/O共通レイヤ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルシステム概要 Copyright (C) 2002, VA Linux Systems Japa
Page Cache, the Affair Between Memory and Files
Previously we looked at how the kernel manages virtual memory for a user process, but files and I/O were left out. This post covers the important and often misunderstood relationship between files and memory and its consequences for performance. Two serious problems must be solved by the OS when it comes to files. The first one is the mind-blowing slowness of hard drives, and disk seeks in particu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/linux/post/entry/friday_spotlight_oracle_linux_and
404 - Network Nuts
Production Notes for Self-Managed Deployments - MongoDB Manual v7.0
10分で分かるLinuxブロックレイヤ
20061021 2 6_io_sched