Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
Manpage of BASH
Section: User Commands (1) Updated: 2001 Mar 5 Index JM Home Page roff page 名前 bash - GNU Bourne-Again SHell 書式 bash [options] [file] 著作権 Bash is Copyright (C) 1989-2001 by the Free Software Foundation, Inc. 説明 bash は、標準入力やファイルから読み込んだコマンドを実行する、 sh 互換のコマンド言語インタプリタです。 bash には、Korn シェルや C シェル (ksh や csh) の便利な機能も採り入れられています。 bash は IEEE POSIX Shell and Tools specification (IEEE Working Group 1003.2) に準
Linuxコマンド百科辞典
Linuxコマンド辞典は、リナックスコマンド初心者、Linux管理者に便利なコマンド用語集です。 通常使うLinuxコマンドを集めてみました。カテゴリーはログイン、ログアウトからユーザー管理、リナックスを運営するための手順に並んでいます。 各ページはコマンド、コマンドの概要、コマンドの構文、コマンドのオプション、コマンドの使用例の順番で並んでいます。 また、abc順のカテゴリや検索窓もありますのでぜひ活用してみてください。あなたのリナックスライフにお役に立てれば幸いです。 ところで、私のお友達のLinuxプロSEのpakiraさんがLinuxの30日間無料メールセミナーをやっています。ぜひ彼のサイトにアクセスして受講してみてください。目からうろこ間違い無しですぜ！
シェルスクリプト（Bash）
シェルスクリプトとはコマンドやシェルの組み込みコマンドなどをファイルに記述し、実行できるようにしたものである。 またプログラムの制御構造なども使用でき、柔軟な処理が可能であり、/etc/rc.d/initd/ディレクトリ内の起動スクリプトなどはシェルスクリプトである。 シェルスクリプトを実行するには実行権限および読み込み権限が必要です。 またシェルスクリプトファイルの1行目にはシェルスクリプトを実行するシェルのパスを記述します。 スクリプトファイル内でも、シェル変数を定義することができる。またその変数を参照する場合は変数名の前に" $ "を 付けることで参照できる。変数名に使用できる文字は英数字および" _ "（アンダーバー）であり先頭は英字を使用しなくてはならない。
Open Tech Press | Linuxのパフォーマンスを改善する3つのTips
同じコンピュータでも、Linuxを走らせたときのほうがWindows XPやVistaを走らせたときよりも性能は高くなる。しかしLinuxシステムはさらに高速化することも可能だ。この記事では、Linuxシステムの性能を向上させるための、3つの異なるレベルで行なう最適化の方法を紹介する。 あらゆる最適化について言えることだが、何らかの簡単なベンチマークを行なわなければ、結果を本当に向上させることができたのかどうかを知ることはできない。Linux PC上では通常、数多くのプロセスが走っていて、それらが性能の測定に影響を与える可能性がある。その影響を最低限に抑えるために作業はランレベル1で行なうようにしよう。ランレベル1は、最低限のプロセスのみを実行するシングルユーザモードだ。ランレベル1で作業を行なうためには、ALT-F1を入力してコンソールに切り替え、ルートとしてログインして「init 1」
ぴょぴょぴょ？ - Linuxとかプログラミングの覚え書き - - make の仕組みを理解する
前述*1のように Makefile は非常に簡潔に記述できます．ただし，簡潔なMakefileを記述するためには make の仕組みを理解する必要があります． 結論から言うと， make は 簡潔な生成ルールのみを記述したMakefileから， 実際に必要となる詳細な生成ルールを自動的に生成します． 自動的に生成されたルールを確認するには $ make -p と "-p" オプションを付けて make を実行します． 以下， hoge.c から hoge を生成する場合 hoge.c と fuga.c から hoge を生成する場合 の二つの具体例を挙げて，説明します． 前準備 Makefile と hoge.c を用意します． Makefile all: hoge hoge.c int main() { return 0; } make -p の実行 $ make -p > log 大量
Makefile は簡潔に書きましょう - pyopyopyo - Linuxとかプログラミングの覚え書き -
仕組みが判ってしまえば Makefile は簡潔に書けます．$(CC) とか $@ とか $< なんて変数は使ったら負けです． 基本(その1) ソースコード hoge.c から 実行形式のバイナリ hoge を生成するMakefileは，以下のように書きましょう all: hogeこれだけです．これで $ make all とすると hoge が生成されます 重要な点は，間違っても all: hoge hoge: hoge.c $(CC) hoge.c -o hogeのようなMakefileを書かないことです．このようなMakefileでは #!/bin/sh CC=gcc $CC hoge.c -o hoge というようなシェルスクリプトと同程度の使い勝手しかありません． 基本(その2) ここで例えば-O3 を付けてコンパイルしたい場合や，-lm を付けてリンクしたい場合は以下のようにし
３.１ 配列の要素数を返す． - C/C++ 関数・マクロ集 ((ほぼ？) 処理系・OS 非依存)
「C/C++ 関数・マクロ集」というタイトルですが， そのうちのいくつかはＣ専用だったりします．(苦笑) 2007/06/24(日) 追記 高木さんより， Ｃの規格上移植性に問題がある点をご指摘いただいたので， 現在修正中です． (たくさんあります…．orz) とはいってもその多くは， めったにお目にかかれないような珍しい処理系とか， 「そんなの実在するの？」という処理系に移植する場合の話なので， 実用上ほとんどの場合は問題ないと思います． (一部そうとはいえないものもありますが．) Ｃの規格に照らして完全に「処理系・OS 非依存」 にするのは困難な場合もあり， 完璧な移植性にこだわるあまりプログラムが書けなくなっては本末転倒なので， タイトルに「ほぼ？」を入れました．orz 2007/06/21(木) 追記 このページを含め，私が C/C++ 関連記事を書くに当たりたびたび参考に＆リンク
Wataru's memo(2007-05-01)
● [Books][UNIX][Thoughts] UNIX システムプログラミング三大名著と図書館 2007年版の「UNIX システムプログラミング・お勧めの書」として、以下の３冊を紹介してきました。 UNIX 誕生から３０年以上経過した現在でも、３冊の発行は続けられていますが、残念なことに三大名著を揃える国内の図書館は数少ないようです。３冊の特徴を簡単に振り返った後に、この状況を確認してみましょう。 Understanding Unix/Linux Programming UNIX システムプログラミングの入門書として、本書を越える書籍は現時点でこの世に存在しないと、私は断言致します。ハーバード大学での授業をもとに練り上げられた本書の内容は、群を抜いた独創性に満ちており、ある意味 Stevens 氏の APUE を凌駕しています。 説明図、題材として使われるプログラム、すべてに工夫が凝
ちょっぴりLinuxが語れるようになる基礎知識
つまりLinuxディストリビューションとはOS配布物であり、ディストリビューターはメーカー／プロジェクトである。 Linuxディストリビューションとは、Linuxカーネルに各種ソフトウェアを集め、システムとしての一通りの機能を持ったソフトウェアの集合である（図1）。「Linux」とはそもそもカーネル単体の名称だが、現在ではカーネルを含めたシステム全体を指す言葉としても用いられることが多い。 カーネル カーネルとは、ハードウェアの管理、プログラムの実行管理、ファイルシステムなど、OSの基本サービスを提供するプログラムである。LinuxカーネルはGPLに従って配布され、誰もが入手／改造／再配布できるようになっている。2007年3月時点でLinuxカーネルの最新バージョンは、2.6.20.3であり、Linuxカーネルのソースは、kernel.orgから入手できる。 Linuxカーネルは、1991
ネットワークプログラミングの基礎知識
ネットワークプログラミングの基礎知識 ここでは IP アドレスやポート番号、クライアントとサーバの役割などを説明し、 perl・C言語・Java などでソケット (Socket) を使った HTTP クライアントや POP3 クライアント、簡単なサーバを作成してみます。 要はネットワークプログラミングをやってみよう、ということです。 このページのサンプルプログラムは、RFC などの規格に準拠した「正しい」プログラムではありません。 また、全体的にエラー処理が不十分です (今後改善する予定です)。 あくまでも概要を理解するためのサンプルととらえてください。 もし本気でしっかりとしたクライアントやサーバを書きたいなら、このページを読んだ上で、 さらに RFC を熟読し、そして wget・Apache・ftp コマンドなどのソースを参考にしてください。 このページに間違いを見付けたら、掲示板 で
clmemo@aka: Emacs で C 言語プログラミングを始める人へのイントロダクション
Emacs エディターで C 言語のプログラムを書く人向けに、入門用の解説がないように思う。そこで、知っておくと便利な機能をまとめてみた。 読者は、Emacs の操作とカスタマイズが最低限できる人を対象にしている。つまり、C-x C-f といったショートカット・キーが使えて、.emacs の設定ファイルがいじれる人。各機能について、基本的な使い方とその効果、あと最低限の設定について書き出した。 目次 ソースの色付け インデント アラインメント コメント info マニュアル スペル・チェック タグ・ジャンプ 関数名の補完入力 コンパイルとエラー行ジャンプ ChangeLog ファイル 1. ソースの色付け Emacs は、C 言語のソース・ファイルを解析して、if や for といったキーワードに対して、自動で色を付ける。 色を付けることでソースにメリハリが生まれ、可読性が上がる。また、ス
ssh-agent - 公開鍵認証の鍵管理
[セキュリティ] ssh-agentは公開鍵認証で使用するキーを管理するためのプログラムです。 #ssh-agentの起動方法 exec ssh-agent $SHELL #ログイン時に自動的に起動するようにするには ~/.bash_profileに以下の様に追加 eval `ssh-agent`; #evalにするとssh-agentが自動的に終了しないため、.bash_logoutに以下の一行を追加。 eval `ssh-agent -k` ssh-add .ssh/idname #キーを自動的に追加する場合はこの行も #保持されている鍵の一覧を表示 ssh-add -l #登録されている鍵をすべて削除 ssh-add -D [参照記事] 公開鍵認証でパスワードなしにログイン « chrootssh | | iptalbesでdhcpを通す »
ssh-agent & keychain の勉強 - Hasta Pronto.org
OpenSSH は普段から使用しているのでだいぶ使うのに慣れてきたのですが、どうにも毎回サーバーにログインするためにパスフレーズを入力するのは面倒臭いなぁと思い、その辺りを便利にするにはどうしたらいいか調べてみました。 ssh-agent は公開鍵認証のパスフレーズ入力を省略出来るようにするツール。これは OpenSSH をインストールすれば一緒に入っているはずです。これにより、パスフレーズ無しの公開鍵と秘密鍵のペアを作らなくてすみます。(余談ですが、Linux サーバー Hacks にはパスフレーズ無しの技が載ってました) keychain は bash ベースの ssh-agent フロントエンドで、ログイン間で ssh-agent を再利用したり、任意でユーザがログインする時はいつでもパスフレーズの入力を促したりすることができる。 要点 ssh-agent を使うとパスフレーズ入力省
UNIX/Linux コマンド・小技集
通常の日本語キーボードは「Ctrl」キーが左下で「Caps Lock」キーが「A」キーの左側にあります。 UNIXを日本語キーボードで使っている人は、ほとんどは「Ctrl」キーと「Caps Lock」キーの位置を入れ替えて使っていることでしょう。 キーの入れ替えには、~/.Xmodmap を作成します。以下に記述形式を示します。 !!! !マークはコメントになります!!! ! delete keyをBackspaceにする keycode 59 = BackSpace ! Caps_Lockキーを無効にする remove Lock = Caps_Lock ! Caps_LockキーにEscapeキーを割り当てる keysym Caps_Lock = Escape ! Caps_Lockキーを有効にする add Lock = Caps_Lock さまざまな、キーボードを利用しなければならない
〇〇とssh-agentは使いよう
〇〇とssh-agentは使いよう 件のIBM developerWorksサイトのOpenSSH解説ウェブページの第2回と第3回はほぼ全編を通してSSHを便利に使うための補助ツールであるssh-agent、そして、ssh-agentと協調してさらに便利に(???)使うために同記事著者が開発したkeychainなるフリーソフトウェアとそれらの使い方の紹介を行なっている。 SSHがサポートする各種ユーザ認証方式のなかでももっとも安全性が高いのは疑いなくユーザ公開鍵によるものなんだけど、これを使うとリモートホストにアクセスする度に自分の秘密鍵を複号するためのパスフレーズを入力しなきゃなんないというデメリットも洩れなく付いてきちゃうわけ。で、これじゃいくら安全なんだと言われようが、パスワード入力一切なしでリモートアクセスできるrsh環境に慣れ親しんでしまったユーザには受け入れられ難いだろうってこ
SSH の鍵管理
SSH1 と OpenSSH1 では，同じ公開鍵と秘密鍵を使うことができます． 設定なども同じです． ここで，~/.ssh/authorized_keys は，SSH1とOpenSSH1だけでなく， OpenSSH2でも使うことがわかります． ~/.ssh/authorized_keysは，以下のように複数のProtocolの鍵を 入れることができます． ~/.ssh/authorized_keys: 1024 41 13403979999670711380 〜 4092737 okada@server ssh-dss AAAAB3NzaC1kc3MAAACB 〜 cbeiLps= ssh-rsa AAAAB3NzaC1kc3MAAACB 〜 cbeiLps= ~/.ssh/authorized_keys2 を使うものもありますが， 詳しくはマニュアルを読んで調べてください． OpenSS
ssh-agent でパスフレーズの入力を省く - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 SSH ではログインするときにパスフレーズの入力が必要ですが、ときどきこれが億劫になるときがあります。例えば scp コマンドでファイル転送を繰り返すときなど、転送のたびにパスワードを打ち込まなければなりません。 元来、人間というのは単調作業が苦手です（プログラマーなどと呼ばれる人種はこの傾向が顕著なようです＾＾；）。同じパスフレーズを何回も入力するなど、苦痛以外
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UNIX & Linux コマンド・シェルスクリプト リファレンス