Linux上でシェルが実行される仕組みを，体系的に理解しよう （bash 中級者への道） - 主に言語とシステム開発に関して
バッチのまとめTOPへ bash 初級者は，簡単なコマンドが並んだだけの小さなスクリプトを書くことができる。 しかしシェルの動作原理をよく理解しておらず， 一歩進んだことをやろうとするとつまずく。 シェルスクリプトの中級者になるためには， Linux上でシェルが動作する仕組みを体系的に理解しておく必要がある。 （１） シェルとコマンドについて （１−１） シェルとは，OSに命令を出すために，OSを包んでいる外膜である。 （１−２） Linuxログイン時には，そのユーザ用のログインシェルが起動する。 （１−３） ユーザが打ち込んだコマンドは，実行前に，bashによって整形される。 （１−４） コマンドの先頭の文字列は，実行可能ファイルか，またはbashの組み込みコマンドである。 （２） コマンド間の連携について （２−１） コマンド呼び出しとは，サブプロセスの生成である。 （２−２） 親プロ
UNIX & Linux コマンド・シェルスクリプト リファレンス
目次 当サイトについて bash シェルスクリプト入門 -シェルスクリプトのいろは- コマンド Tips シェルスクリプト Tips 変数を使用する 配列を使用する 入力と出力 if 文と test コマンド for 文の使用方法 while 文の使用方法 case 文の使用方法 関数の使用方法 引数を処理する 終了ステータス シグナルと trap コマンド フィルタを使用した文字列操作 1 フィルタを使用した文字列操作 2 日付を取得する 文字コードと改行コード シェルスクリプトのデバッグ AWK リファレンス (Deprecated) シェルスクリプト ライブラリ 『ether.sh』 お知らせ Bluesky を始めました @sunone.me 変更履歴 2023.10.07 ページ内リンクを修正した。 2021.02.01 このサイトに「もう 1 ページ追加しよう」と思ってから、も
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
tailコマンドって-c使うと超速い - As a Futurist...
Twitter でつぶやいたら意外と知られて無かったので記事にしておきます。 Linux とかで巨大なログファイルとかを扱うときに、head や tail というコマンドで先頭から何行とか 末尾から何行を見たい時があると思います。 例えばアクセスログで末尾から 10000000 行目辺りをみたいとかいうときに $ tail -n 10000000 access_log | head とかするとかなり遅いと思います。これはログの後ろの方から読み込みながら 行数を計算しているからで、10000000 行分数えないとどこから表示すればいいのかわからないので なかなか結果が返ってこなくてヤキモキしてしまいます。 こんなときに、-cというオプションを使うと超高速で結果が返ってきます。-cというのは -c, --bytes=N output the last N bytes とある様に、ファイルの末尾
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
ちょっとした処理にはseqコマンドを使うとかっこいい - (ﾟ∀ﾟ)o彡 sasata299's blog
2011年01月04日01:47 Linux ちょっとした処理にはseqコマンドを使うとかっこいい 「1から10まで改行付きで表示する」みたいなことをしたいとき、コマンドラインやちょっとしたスクリプトで書くとしたらどうするでしょう。 for i in {1..10}; do echo $i; done 多分フツーに書くとこんな感じでしょうか。でも長いし、めんどいですよねー。 実は今日、連番を表示する seq というコマンドを知りました。このコマンドを使うと↑と同じ処理がこんなシンプルに掛けます。 seq 1 10 かっこいい！！ちなみに、-w オプションでゼロ詰め表示、-s オプションで区切り文字（デフォルトは改行）の変更が出来ます。 --- 以下は mac な人向け。 mac(*BSD系) には GNU のコマンドは入っていないので seq を使うことが出来ません。mac でも seq
"set -e": 実行コマンドが0以外の終了コードの場合、シェルスクリプトを終了する - 元RX-7乗りの適当な日々
「シェルスクリプトの実行過程でエラーが発生した場合に処理を止めたい」・・・それをすごくシンプル(簡単)に実現したい場合に使えます。 例えば、以下のようなシェルスクリプトを書いた場合、、、 #!/bin/sh mkdir /tmp/hoge/fuga touch /tmp/hoge/fuga/test.txt 実行結果は以下のようになります。 $ ./test.sh mkdir: ディレクトリ `/tmp/hoge/fuga' を作成できません: そのようなファイルやディレクトリはありません touch: `/tmp/hoge/fuga/test.txt'にtouchできませんでした: そのようなファイルやディレクトリはありません/tmp/hogeディレクトリが存在しないので、/tmp/hoge/fugaのmkdirでこけます。まぁ普通ですよね。。。 が、何も考えずに書くと、↑のように、その
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
メモリ使用量の確認
サーバのメモリが思った以上に消費していたのでサックリ調べてたのですが 各プロセスのメモリ使用状況の調べ方としては ps aux --sort=-rss | head -40とやるとRSSのサイズでソートしてくれるのでheadとかでみてやればメモリ使用量が多い順に参照可能。 ただたんにps auxしただけだと見るのがしんどい。 topでもshift+Mで同じ感じでみれるのでそれでも良い。 （cを入力してプロセスの詳細を表示するとなおよい） あとはCoWに乗ってるかを調べたが、 http://d.hatena.ne.jp/naoya/20080212/1202830671 naoyaさんが紹介されている方法そのまんまでよいでしょう。 sudoして実行すること。 Cowはアプリの質にもよるが基本的にはライブラリが共有メモリに乗ってればいいから アプリの質をみつつsharedなパーセントを調整出
GUIの無いLinux（CentOS）にDropboxをインストールする - インフラメンコ
GUIの無いLinux（CentOS）にDropboxをインストールする May052009 Author: ゴリ丸 Categories: IT関連, その他 Tags: centos, cui, dropbox, linux Bookmarks: 人が登録 Prev Page: 新FriendFeed用 AutopagerizeのSITEINFO DropboxのページからダウンロードできるLinux版は、X環境がなければセットアップできません。 Dropbox Wikiに投稿されているdbcli.pyでは、CLIからインストールすることができるようなコマンドがありますが、実際にはアカウントの設定のためにXが必要となります。 ここでは、XをインストールしていないCentOSにDropboxをセットアップする手順を紹介します。 手順は以下のページを参考にしてい
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
「ping -a」で音が鳴る！ - 元RX-7乗りの適当な日々
今日、初めて気付いたんです！ $ ping -a xxx.xxx.xxx.xxxこんな感じでpingコマンドで"-a"オプションを付けると、返答があった時に、なんと音が鳴ります。 これは地味に便利。(Linux限定、かも) 何が便利かって？ネットワークの疎通確認をする時に便利ですよね。 ついこの前も、データセンターでボンディングの試験とかスイッチのポート障害のときに、ラックの前で1人がpingの反応見つつ、ラックの後ろでは、LANケーブルの抜き差ししながら、「OK！」とか「NG！」とか言っているわけですよ。 これで、音鳴らしながらテストしたら1人で確認出来るやん。 おっと、これは良い発見。ひょっとして常識？ たまにmanでコマンドのオプションを眺めていると、こんな感じで面白い発見があるから好きなんですよね。 コンパイル(make)の高速化 topコマンドでマルチコアなCPUの状況を確認する
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
grepコマンドで検索をかけて、その以下数行も表示する - 元RX-7乗りの適当な日々
grepコマンドでは、"-A"オプションを利用することで、パターンマッチした行の以下数行分をあわせて出力することが可能です。 プログラムの関数名と、その中身n行分を見たい場合なんかに使えます。 A NUM, --after-context=NUM NUM で指定した行数だけ、パターンにマッチした行の後の行も表示します。 http://www.linux.or.jp/JM/html/GNU_grep/man1/grep.1.html 実際には以下のような感じ。 $ cat /etc/init.d/httpd | grep 'start()' start() { $ cat /etc/init.d/httpd | grep -A 10 'start()' start() { echo -n $"Starting $prog: " check13 || exit 1 LANG=$HTTPD_LA
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初心者の頃に知っておきたかった rpm と yum の違いと使い分け
美女LINUX bijo-linux.com
IDEA * IDEA
直近n分以内に更新されたファイル一覧を表示するコマンド - 元RX-7乗りの適当な日々
