Raw Linux Threads via System Calls
This article has a followup. Linux has an elegant and beautiful design when it comes to threads: threads are nothing more than processes that share a virtual address space and file descriptor table. Threads spawned by a process are additional child processes of the main “thread’s” parent process. They’re manipulated through the same process management system calls, eliminating the need for a separ
The Implementation of epoll (1)
In this series of blog posts, I will be taking notes about the internals and implementation details of the Linux event poll (epoll) subsystem. Prerequisites Please note that I am assuming the audiences of those articles are familiar with epoll APIs and usages. I will be focusing on the actual kernel implementation of the epoll subsystem, not it's usages. If you are not familiar with the usage of e
LinuxのSSD設定 - Qiita
概要 SSDで寿命とかパフォーマンスを改善するために設定しておいた方が良い点のまとめです。 よくある系のネタですが、久しぶりにSSD設定見なおしたら勘違いしてた点がいくつかあったので備忘を兼ねて残します。目次見て「こんなの常識だよね」って思った方はスルーしてくださいm(_ _)m 基本 firmwareを最新化する kernel/osはなるべく新しいものを使う 新しいファイルシステムを使う(多分今のところext4が一番良さそう) swapしないようメモリを沢山積む TRIMを使う TRIMとは SSD上のデータは削除しても削除マークが付くだけで削除されません。 この状態のブロックにデータを書き込む場合、一度完全に消去してから書き込みます。 TRIMコマンドはOS上のファイルが不要になったことをSSDに伝えて明示的にデータの消去を行うコマンドです。 メリット TRIMを使わない場合、以前デー
xrdp を用いて Windows から CentOS にリモート デスクトップ接続する
xrdp は オープンソースで開発されたサーバー ソフトウェアです。 機能的には、Remote Desktop Protocol (RDP) 経由で接続できる Linux ターミナル サーバーとして動作し、rdesktop や freeRDP、Microsoft のターミナル サーバーおよびリモート デスクトップ クライアントから接続、GUI で操作できることを目的としています。 ※ただし、Windows Server のようなリモート デスクトップ の機能を提供しているわけではなく、実際には X window デスクトップを表示させています。 Windows から Linux にリモート GUI 接続する場合、VNC の利用や、 Linux を Hyper-V の仮想マシンとして動作している環境であれば Hyper-V マネージャー スナップインを利用することで可能ですが、Windows
coreutilsに何が入っているのか - (ヽ´ω`)
いいコマンドがないか調べ物をしていると、それXXがあるよいわれ、更にそこからたどっていくとcoreutilsに入っていたというパターンにやたら遭遇するのでcoreutilsに何が入っているかを確認してみました。環境はUbuntuの14.04です。apt-get source coreutilsでソースがDLできたので 「ls man/*.x | wc -l」で１０４個ありました。確認してみたところ、普段よく見るコマンドは40個ぐらいでした。 cat - concatenate files and print on the standard output chgrp - change group ownership chmod - change file mode bits chown - change file owner and group cp - copy files and dir
Linux Page Cache Hit Ratio
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
UNIXのプロセスやシグナルをしっかり理解するための技術ドキュメント「Process Book」 | ソフトアンテナ
UNIXの基本をなすプロセスやシグナルなどを分かりやすく解説した技術ドキュメント「Process Book」がGitHubにて公開されています。 同ドキュメントは、プロセスの生成、プロセスとファイル入出力、ファイルディスクリプタ、preforkサーバーの作り方、ゾンビプロセスと孤児プロセス、シグナルとkill、プロセスグループとフォアグランドプロセスといった話題を解説するドキュメントで、GitHubのreleasesディレクトリにはPDF、epub形式のファイルも格納されています。 UNIX環境でプログラムを開発する際に役立つだけではなく、普通のユーザーとしてターミナルを使ってコマンド操作を行う際にも役に立ちそうな内容だと思います。
How TCP backlog works in Linux
When an application puts a socket into LISTEN state using the listen syscall, it needs to specify a backlog for that socket. The backlog is usually described as the limit for the queue of incoming connections. Because of the 3-way handshake used by TCP, an incoming connection goes through an intermediate state SYN RECEIVED before it reaches the ESTABLISHED state and can be returned by the accept s
閏秒を迎えるにあたってLinuxでは何を対策すべきか？ | Act as Professional
2016/12/27 更新Googleなどの大手IT企業がうるう秒対策済のNTPサーバが公開したため、これを利用する内容などを以下にまとめました。 元旦に実施される うるう秒の対策 まとめ2016/07/08 更新2017/1/1に閏秒の実施が決定されました。対応はこの記事のとおりで問題なさそうです。 2015/06/24 情報追加(2015/06/29 更新)下記の対応に関わるntpdの比較的新しいバージョンにSLEWモードで動作していても、うるう秒が挿入されるバグが発見されました。[redhat] これによりntp-4.2.8p3-RC1以降のバージョンでないとSLEWモードで動作していてもうるう秒が挿入されます。RedHatはntp-4.2.6p5-3.el6_6という対応済みのバージョンを提供しています。Ubuntuでは今日現在12.04LTS, 14.04LTSの２バージョンはパ
ターミナルの操作ログを自動で残したい
プロセスアカウンティング用に広く利用できる物として "Process Accounting Utility" があります。環境によって、パッケージの名前が、 psacct もしくは acct になっているものです。 $ # インストール (ubuntu) $ apt-get install acct 用意されているコマンド lastcomm: 実行されたコマンドの表示 ac : ユーザの接続時間の表示 sa: 過去に実行されたコマンドの集計／フィルタ ※ 質問の要件を満たすために、一般ユーザーからはこれらのコマンドが実行できないようにしてください。 アカウンティングサービスの実行 $ # サービスの開始 $ /etc/init.d/acct start $ # サービスの停止 $ /etc/init.d/acct stop 実際は、accton コマンドによってプロセス監視が始められます。
RHL7/CentOS7の時代なのでcoreutils 8.22まで追いかけてみた - Qiita
はじめに <余談> 2017年末現在、Amazon Linux 2 LTS Candidate AMI 2017.12.0、並びに Amazon Linux AMI 2017.09.1 は coreutils 8.22です。まだまだいける。</余談> 2014年はついにRHLやCentOSが7系に移りました。古い環境が CentOS 6.x だったもので、いろいろ変わっていて戸惑うところです。ホットなのは systemd とか mariaDB とか OpenLMI とか net-tools 周りでしょうか。 ここではあまり注目されていない気がする、 coreutils のリリースノートを読んだメモを公開します。翻訳ではありません。メモです。 なお、私はSELinuxやSMACK周りは改めて勉強中の身なので、そこら辺の改善点については特に触れません。dd とかファイルシステムとの連携周りも改
prociostat.pl と visualize_prociostat.R で Linux のプロセスのボトルネックを分析する - ablog
今日もモツ鍋を堪能されていた模様の [twitter:@hasegaw] さんが Linux のプロセスのアクティビティを追跡してグラフ化するツールを Perl + R で作られたということで早速使ってみました。 プロセスがユーザーモードでCPUを使えているのか、I/O待ちになっているのかといった傾向を分析することができます。Oracle Database はCPUを使えているのか、どんな理由で待機している（CPUを使えていない）か見ることができるよう実装されていますが、そんなものはないプログラムでも /proc ファイルシステムを参照してプログラムの外側からボトルネック分析が可能になります。素晴らしい！ こんな感じのグラフができます。 ツール prociostat.pl プロセスのCPU使用率、I/Oバイト数、I/O待機時間*1を秒間隔でCSVに記録する Perl スクリプト*2 情報ソ
cachectldでOSのページキャッシュ削除を自動化 - Qiita
サーバを運用していると時々全然メモリが余っているはずなのにスワップが起きてしまうことがあります。この場合よくあるケースは非常に大きなログファイルがあってそのログファイルのために大量のページキャッシュが利用されていることです。 ログファイルなんて滅多に読まないので、そんなのにメモリ使うぐらいだったらもっと別のアプリケーションにちゃんと割り当ててくれよと思うのですが、なかなかうまくいかないものです。 そこで効果的なのがposix_fadivseをラップして指定したファイルのページキャッシュを解放するツールです。 ページキャッシュがどんどん増えている…そんな時に役立つワンライナー ファイル指定で、ページキャッシュにのっているか確認したり追い出したり 私の場合、今まではnocacheというツールをちょこっと改造して使っていましたが、最近もうちょっと便利な風に改造したいと思うようになってきました。例
CFQ スケジューラのアルゴリズム概要 | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
cfqスケジューラ Linuxカーネルは、ブロックI/Oの処理効率を向上させるさせるための仕組みとして、I/Oスケジューラと呼ばれる機能を提供しています。I/OスケジューラはI/O要求の順序を入れ替えることにより、スループットを向上させたり、特定のI/O要求を優先して実行させたりします。実際のブロックデバイスのセクタに対するアクセス（つまり読み書き）を、要求された順序ではなく、I/Oを最も効率よく行うためにその順序を並び替えるというアイデアは、初期のUNIXの実装から採用されていました。それは、セクタ番号順序に並び替えてI/Oを実行するという単純なものです。ディスク面上を移動するヘッドの動きがエレベータに似ているため、このアルゴリズムはエレベータアルゴリズムなどと呼ばれていました。 現在のLinuxカーネルでは、そのころのアルゴリズムより洗練されたスケジューリング方式を採用しており、目的に
ps のオプションについてのメモ書き - 双六工場日誌
psで使うオプションについてつらつら調べたので、メモ。 psのオプションには、UNIXオプション（ハイフンで始まるもの）とBSDオプション（ハイフンを付けないもの）の2つの流派があり、それに加えてGNU psではハイフン2つで始まるロングオプションが使える。 このバージョンの ps が受け付けるオプションにはいくつかの種類がある。 1 UNIX オプション。まとめることが可能で、前にはダッシュを置かなければならない。 2 BSD オプション。まとめることが可能で、ダッシュを使ってはならない。 3 GNU ロングオプション。前に二つのダッシュを置く。 man ps より おそらく一番メジャーなのは、「ps -ef」（UNIXオプション）と「ps aux」（BSDオプション） それぞれの出力例は以下の通り。 $ ps -ef UID PID PPID C STIME TTY TIME CMD
コラム - クラウド時代のオープンソース実践活用 | 第53回 NFVとIntel DPDK（前編）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第53回 NFVとIntel DPDK（前編） (中井悦司) 2014年10月 はじめに 先週、Red Hat Forum 2014/Tokyoで日本のオフィスに来ていたChris Wrightと会話をする機会があり、Intel DPDKについて、いろいろ教えてもらいました。Chrisは、以前は、Linuxカーネルや仮想化（Xen/KVM）の開発に深く関わっていましたが、現在は、「Technical Director of SDN at Red Hat」という肩書で、SDN関係の仕事をしています。OpenDaylightのボードメンバーやOpenStackのNFVサブチームにも参加しています。 Intel DPDKの話題になったのは、まさにこの
XFS File-System Has Many Changes For Linux 3.18 - Phoronix
XFS File-System Has Many Changes For Linux 3.18 Written by Michael Larabel in Linux Storage on 13 October 2014 at 01:35 PM EDT. Add A Comment Dave Chinner sent in the XFS feature pull request for the Linux 3.18 kernel. Changes for the XFS file-system with Linux 3.18 include: - Various cleanups - Log recovery debug hooks - Seek hole/data implementation merge - Extent shift rework to fix collapse ra
なるほどUnixプロセス Rubyで学ぶUnixの基礎 を読んだ - ravelll の日記
新人エンジニアとの読書会でシグナルの話が出た時に色々知識が曖昧なことに気づいたので読んだ。(Spyglass についてはまだ触っていない) 社内の別の読書会にこれの原著を読むものがあったんだけど、 当時 Ruby や UNIX について知識がなさ過ぎたり英語読むのに少しつらみがあったり そもそも途中から参加していなかった。覚えていたのはゾンビプロセスの語感と内容が重要そうだったってことくらい。 今回は英語学習より内容の速習を求めたので、翻訳版を読むことにした。 以下は読書感想文です。 プロセス、カーネル、システムコール この本はプロセスとそれを取り巻く技術についてそれぞれかなり基礎的なことから書かれており、UNIX について然程知識がなくとも問題なく理解し読み進められる。 自身ではプロセスは親子関係やPIDについて知っている程度で、5章のファイルディスクリプタや 10章の終了コード、11章
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spotify/daemon-java · GitHub -- A java class that implements a reload hook via SIGHUP
Scaling Userspace @ Facebook