【linux】lsより高速にファイルの一覧を出そうとしてみた at softelメモ
問題 ファイルの一覧を出すコマンドって ls しかないんですか。 答え ls は、readdir と stat をしているから遅いんだという話を聞いて、 readdirを使ってファイルの一覧を出力するプログラムをCで書いてみた。 やることは意外と簡単。 １、Cでプログラムを書く $ vi readdir.c #include <stdlib.h> #include <stdio.h> #include <string.h> #include <dirent.h> void main(argc,argv) int argc; char *argv[]; { DIR *dir; struct dirent *dp; char path[512]; if(argc<=1){ strcpy(path,"."); } else{ strcpy(path,argv[1]); } if((dir=ope
【Linux】100万ファイルくらいあるディレクトリのファイルのリストを高速に表示したい - 地方エンジニアの学習日記
概要 ファイル名のリストだけ高速に欲しいみたいな場合に大量にファイルがあるディレクトリでlsを打って返ってこないみたいなのが地味にストレスになったりするので高速に済ませる手段が無いかを調べてみた。 1ディレクトリに100万ファイル程度 計測前にecho 3 > /proc/sys/vm/drop_cachesを都度実行し10回程度計測 計測 ls -l めっちゃ遅い real 0m24.052s user 0m5.668s sys 0m8.071s straceをしてみるとこんな感じ。-lをつけるとメタデータを取りに行くのでこれが遅いらしい。sysが長い % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 44.6
プロセス管理 - UnixClassWiki
プロセスの基本的概念 プログラムが動作する実行実体のことをプロセスと呼びます。単純化して説明すると、プログラムの実行のことです。 プロセスはプロセスごとにプロセスIDを付与され、その数字で管理されています。 このプロセスIDの数字は 一定の数字で循環します。 Linuxカーネルが扱えるプロセスIDの最大値は/proc/sys/kernel/pid_maxを参照すればわかります。 カーネルのソースコード内ではプロセスIDの最大値は次のようにして設定しています。 最少構成でカーネルを作った場合は4096、32ビットCPUだと32768、64ビットもしくはそれ以上のCPUだと4 * 1024 * 1024つまり4194304ということになります。 /* * This controls the default maximum pid allocated to a process */ #defin
LKML: Linus Torvalds: Re: clean up kernel_{read,write} & friends v2
On Fri, May 29, 2020 at 6:08 AM David Laight <David.Laight@aculab.com> wrote: > > A wide monitor is for looking at lots of files. Not necessarily. Excessive line breaks are BAD. They cause real and every-day problems. They cause problems for things like "grep" both in the patterns and in the output, since grep (and a lot of other very basic unix utilities) is fundamentally line-based. So the fact
その後のgolangと(Dockerと)OOM — KaoriYa
前の記事:golangとDockerとOOM を書いた後で Go側の事情に変化があったため、 あの記事に書かれた方法は現実的な選択肢ではなくなってしまいました。 この記事では私が使っているGo 1.14以降でのOOM対策と、 どうしてそうせざるを得なかったのか解説をお届けします。 TL;DR Goの64ビット版はVSZの最小要求量が大幅に拡大した (500MB超) 前の記事で紹介した方法が現実的ではなくなった VSZの制限をRSSに転用する=最低でも500MBのRSSを設定することになる 代わりに自プロセスのRSSを監視して閾値を超えたらアポトーシスするようにした RSS取得用のkoron-go/phymemパッケージを作成した Background あの記事を書いた翌月末にGo 1.14がリリースされました。 その変更点の中に以下の記述があります。 The page allocator
inotify-toolsでファイルやディレクトリを監視する - Qiita
Linux2.6から追加されたinotifyというAPIは、ファイルやディレクトリーでオープン、クローズ、移動/名前変更、削除、作成、属性の変更などといったファイルシステムイベントを監視することができます。 inotify API群を利用して自分でファイルシステムイベント監視プログラムを実装することができますが、 今回は、inotify-toolsというinotifyを利用したファイルシステムイベント監視ツールを使用します。 inotifyイベント inotifyでは対象のファイルまたはディレクトリに対して以下のファイルシステムイベントが監視できます。 ※対象がディレクトリの場合は、ディレクトリ自身とその配下のファイルが対象となります。 イベント名 イベント発生タイミング
Fbterm - ArchWiki
翻訳ステータス: このページは en:ArchWiki:Archive の翻訳バージョンです。最後の翻訳日は 2020-07-12 です。もし英語版に 変更 があれば、翻訳の同期を手伝うことができます。 このページはアーカイブされたページのリダイレクト先です。 記事を見ようとしてこのページに飛ばされた場合、そのページはアーカイブされています: このページのタイトルの下にある「〜から転送」のリンクを辿ってから、転送ページの履歴を開くことで改訂を閲覧できます。 アーカイブページのリストはカテゴリ:アーカイブや特別:リンク元/ArchWiki:アーカイブを見てください。 アーカイブされたページについて、既存の記事にリダイレクトするほうが好ましいと思ったときは、そうしてください。 ページをアーカイブする方法 ページをアーカイブする前に、既存の記事へリダイレクトすることができないか確かめてください。
inotifywait を使って，ファイルが作成されたらアクションを起こすスクリプトを書く - akihiko’s tech note
例えば，ディレクトリ /tmp/hoge に print.ps というファイルが作成されたら，それを自動的に印刷するようにしたい場合，ファイル作成イベントを監視する必要がある． inotifywait というコマンドを使えばそれが簡単にできるので，紹介する． 次のbashスクリプトは， /pstmp というディレクトリにファイルが作成されたら，そのファイルを別ユーザアカウントで kghostview で開く，というものだ*1． #!/bin/bash # required package: inotify-tools psout_dir=/pstmp m_account=aki-yam events=(-e CREATE -e MODIFY -e MOVED_TO) while inotifywait ${events[@]} $psout_dir; do psfile=$psout_di
第8章 Linux カーネルデバイスドライバー仕様
本章では、Armadillo-400 シリーズに固有な Linux カーネルのデバイスドライバーの仕様について説明します。 Armadillo-400 シリーズでは、カーネルコンフィギュレーションを変更することにより、標準で有効になっているもの以外の様々な機能を使用することができます。 Armadillo-400で、標準で有効になっていないデバイスドライバーを使用するためには、以下の手順でカーネルコンフィギュレーションをおこなう必要があります。 ボードオプションによりどのピンに機能を割り当てるか選択する。 ボードオプションは、make menuconfig でコンフィギュレーションを行う場合、Linux Kernel Configuration の System Type -> Freescale MXC Implementations -> MX25 Options -> Armadil
Man page of STDARG
Section: Linux Programmer's Manual (3) Updated: 2020-11-01 Index JM Home Page roff page 名前 stdarg, va_start, va_arg, va_end, va_copy - 個数、型が可変な引数リスト 書式 #include <stdarg.h> void va_start(va_list ap, last); type va_arg(va_list ap, type); void va_end(va_list ap); void va_copy(va_list dest, va_list src); 説明 関数は呼び出しに際して、個数や型が可変な引数をとることができる。 インクルードファイル <stdarg.h> では va_list 型が宣言されており、3 つのマクロが定義されている。これら
Open JTalk - HMM-based Text-to-Speech System
サンプル 「小さな鰻屋に，熱気のようなものがみなぎる．」 (声質: 0.55 ピッチシフト: 0 話速: 1.0) wav 「一週間ばかり，ニューヨークを取材した．」 (声質: 0.45 ピッチシフト: 18 話速: 1.2) wav オプション 声質の値を小さくすると女性，大きくすると男性のような声になります． ピッチシフトの値を調整することで，合成する音声の高さを半音単位で変更します． 話速の値を小さくすると遅く，大きくすると速くなります． 合成テキスト 最大200字までの文章を合成できます． 2018/07/11 利用規約の一部を緩和しました． 2012/12/25 [Ver. 1.8] Open JTalkのバージョンを1.06に更新しました． 女性話者「Mei (Happy)」「Mei (Bashful)」「Mei (Angry)」「Mei (Sad)」を追加しました． 音質を安
UVCカメラドライバーの製作
１.はじめに USBインタフェースのWebCameraが世の中に出始めた頃は、接続プロトコルがメーカー独自のプロトコルであったために、 Linuxやマイコンに接続するには、ドライバーソフトが無く、難しかったが、Linuxにおいては、有志によりドライバーが順次開発され、今やほとんどのWebCameraを接続できるようになっている。 RXマイコンやFM3マイコンなどの高機能マイコンでは、SDRAMを適度に増設してやることで、Linuxそのものを走らせることができ、豊富なLinuxのドライバーによりUSBWebCameraを簡単に扱うことができる。 一方、PICにおいては、その貧弱な機能ゆえに、カメラドライバーが存在するとは思えず、USBカメラの接続は諦めていたのだが、 ネット検索を行ってみた所、PIC32を用いたドライバー製作記事が一つ見つかった。 この記事では、spca5xx のWebCam
仙石浩明の日記: x86_64 Linux でメモリ・デバッグ・ツール Valgrind を使う場合の注意点
次のようなプログラム test.c について考える: #include <stdio.h> #include <stdlib.h> #include <sys/types.h> #include <string.h> struct test { int32_t len; int8_t buf[16]; }; int main(int argc, char *argv[]) { struct test *p = malloc(sizeof(struct test)); int8_t buf[16]; p->len = sizeof(p->buf); bzero(p->buf, p->len); printf("0x%lX-0x%lX => 0x%lX\n", (long)p->buf, (long)p->buf+p->len-1, (long)buf); bcopy(p->buf, buf,
Unixデーモンの仕組み
Home Subscribe Unixデーモンの仕組み 12 March 2015 おはこんばんちは!! 尾藤 a.k.a. BTO です。 みなさん、Unixデーモンよく使ってますよね。 Webエンジニアなら、Webサーバ、メールサーバ、DBサーバ、cronなどがよく使われるのではないでしょうか。 24時間365日黙々と働き続けるUnixデーモン達。 身近な存在だと思いますが、実はどういう仕組みで動いているのかご存じない方も多いのではないでしょうか。 先日、オトバンクでUnixデーモンの仕組みについて勉強会をやったので、その内容をまとめます。 デーモンとは では、デーモンとはいったい何なのでしょうか。 Unixライクシステムにおいて、バックグランドで動作して様々な処理を実行してくれるプロセスがデーモンです。 デーモンには明確な定義はありませんが、だいたい次のような条件を満たすプロセスが
Man page of EXECVE
Section: Linux Programmer's Manual (2) Updated: 2020-08-13 Index JM Home Page roff page 名前 execve - プログラムを実行する 書式 #include <unistd.h> int execve(const char *pathname, char *const argv[], char *const envp[]); 説明 execve() executes the program referred to by pathname. This causes the program that is currently being run by the calling process to be replaced with a new program, with newly initialized s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Man page of FGETC
rsyslogでコマンド実行をしてログに手を加える - ハラミTech
VPCS14AFJに入れたArchLinuxでNFCを使う | お茶漬けぶろぐ
日本システム開発株式会社 教育 ソリューション
メモリリーク、不正アクセスの検出について（Linuxの場合） | 日々雑感、覚書
