データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
シェルスクリプトのデバッグは typeset または declare を使うと良いかも - よんちゅBlog
はじめに つい最近知った便利なデバッグ方法 (長年シェルスクリプトを書いているのに知らなかった。これが常識だったら恥ずかしい…) シェルスクリプトのデバッグでは echo で変数の中身を見るという原始的な方法をよく使うかと思います。 いわゆる プリントデバッグ というやつですね。 もう少し詳しいデバッグが必要な場合は、 set -x と set +x でデバッグしたい部分を囲むという方法もあります。 今回は プリントデバッグ で使う echo の代わりに typeset or declare を使うと良いというお話です。 プリントデバッグは typeset or declare を使おう typeset or declare は変数宣言などでよく使うコマンドですが、変数の中身を見るのにも使えます。 echo と比べて何が良いのかというと、変数の中身はもちろん変数名や変数の型も表示してくれ、
ディレクトリ内ファイルを一括リネームするシェルスクリプト - mozukumaの技術系メモ
本番作業前に既存ファイルをリネームしておく、なんて時に一つ一つやるのも面倒なので、スクリプトでサックリと。 *.hogeを*.fooにリネーム。 for file in `find ./ -name "*.hoge" -print` do res=`expr $file : "\(.*\).hoge"` mv $file $res.foo done
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
俺の .screenrc が火を吹くぜ
たまにはこういう生産性のない話題もいいよね! さて、まあおまえらも GNU Screen くらいは使ってるとおもうわけだが。こいつがまたひどいバッドノウハウでさあ。ほとんどの人が他人の .screenrc をコピペしてきて済ませちゃうんだよね。俺くらいカスタマイズして使ってるやつとか見かけないわけよ。本当に。CodeRepos 見ても俺に比肩する規模の .screenrc 書いてる奴はいないもん。で、たまーにプロジェクタに表示して見せたりすると「それどうなってるんですか」とか。まあ一般人のおまえらは info なんか読まないよね。そうだよね。 でも今日は気が向いたから line-by-line で何が起こってるか解説しちゃうよ。 .screenrc の前にスクリーンショットの解説をちょっとだけ これが普段俺が使ってるノート PC の画面である。これで全画面。OS は普通の Ubuntu で
SSH力をつけよう
2. もくじ ► おさらい ► クライアント(ssh/scp)の話 ポート転送の話 多段ssh その他の転送の話・他のオプション ► サーバ(sshd)の話 ► ちょっとした疑問 ► セキュリティの話 ► まとめ 2 / 62 5. RFC RFC 4250 The Secure Shell (SSH) Protocol Assigned Numbers RFC 4251 The Secure Shell (SSH) Protocol Architecture RFC 4252 The Secure Shell (SSH) Authentication Protocol RFC 4253 The Secure Shell (SSH) Transport Layer Protocol RFC 4254 The Secure Shell (SSH) Connection Protocol RF
さらに仕事がダラけてしまったのでpvコマンドでプログレスバー - harry’s memorandum
http://d.hatena.ne.jp/dharry/20110122/1295681180 シェルスクリプトであーだこーだしていましたが、pvコマンドという便利なものがあるとは知らなかった。 まずはpvとdialogコマンドをインストール sudo apt-get install pv dialog 圧縮したり tar cf - ./test | pv | gzip -1 > test.tgz 375MB 0:01:06 [5.82MB/s] [ <=> ] 展開したり pv test.tgz | tar xzf - 68.5MB 0:00:02 [ 32MB/s] [===========================================>] 100% man pv にあるexampleが爽快だった。 (tar cf - . | pv -n -s `du -sb .
bashのキーバインド(キーボードショートカット) まとめ - readlineとbind、ついでにstty編 - うまいぼうぶろぐ
復習がてらまとめてみた。今さら感たっぷりでたぶん100番煎じぐらいだけど。きっかけは単語単位でカーソルを移動させる(M-f,M-b)方法が知りたかっただけなんだけど。せっかくなのでどこで、どういう風にキーバインドが割り当てられているかを調べた。 versionはdebian4のbash 3.1.17。 readlineとbind(組み込みコマンド) man bashのreadlineとbindの項目参照。readlineはシェルの入力を処理するライブラリ。bashは組み込みのコマンドでreadlineの割り当て設定確認/設定変更が出来る。 端末ラインのキーバインド さて、さっそくbashのキーバインド…の前に、シェルとは別の端末のキーバインドもまとめておく。bashとは直接関係ないけど、端末をCLIの操作をキーバインドで行うという意味では、ほぼ同じなので。 有名なのはプロセスを割り込むC-
zshの設定
より新しいバージョンはおすすめzsh設定 - ククログ(2011-09-05)にあります。 はじめに ここにはzshの設定に関することを書いておきます．tcshからは乗り換えました． ~/.zshenv こんな感じです。 ### .zshenv if [ "$TERM" = "xterm" -o "$TERM" = "kterm" ] then # [ -x /usr/games/fortune ] && (LANG=C; /usr/games/fortune) fi umask 022 # Path Setting path=($HOME/local/bin $HOME/local/X11R6/bin \ /usr/local/RealPlayer8 \ /bin /usr/local/bin /usr/bin \ /usr/local/X11R6/bin /usr/X11R6/bin
UNIXシェルスクリプトメモ(Hishidama's UNIX shell script Memo)
-xを付けると実行内容を表示しながら実行する。[2008-11-29] bash -x スクリプトファイル -nを付けると、実行せずにファイル内の構文解析（エラーの有無のチェック）を行う。[2008-11-29] bash -n スクリプトファイル . スクリプトファイル 現在実行中のシェルと同じシェルを使ってスクリプトを実行する。 スクリプトの中で環境変数を設定した場合、現在のシェルの環境にも影響する （スクリプトの中で定義した環境変数が実行元でも有効になる）。 ファイルに実行権限（chmod +x）が付いている場合は、以下のようにして実行できる（相対パスで指定している）。 ./スクリプトファイル ファイルに実行権限（chmod +x）が付いており、かつ環境変数PATHにカレントディレクトリ「.」が含まれている場合は、以下のようにして実行できる。 スクリプトファイル シェルスクリプトの書
シェルスクリプト（Bash）
シェルスクリプトとはコマンドやシェルの組み込みコマンドなどをファイルに記述し、実行できるようにしたものである。 またプログラムの制御構造なども使用でき、柔軟な処理が可能であり、/etc/rc.d/initd/ディレクトリ内の起動スクリプトなどはシェルスクリプトである。 シェルスクリプトを実行するには実行権限および読み込み権限が必要です。 またシェルスクリプトファイルの1行目にはシェルスクリプトを実行するシェルのパスを記述します。 スクリプトファイル内でも、シェル変数を定義することができる。またその変数を参照する場合は変数名の前に" $ "を 付けることで参照できる。変数名に使用できる文字は英数字および" _ "（アンダーバー）であり先頭は英字を使用しなくてはならない。
crontabの設定メモ - ザリガニが見ていた...。
crontabの設定は簡単なのだが、ちゃんと理解しようとすると意外と多くの関連する知識が必要なのであった...。以下、crontabの設定しながら覚えたことメモ。 環境 MacBook OSX 10.5.6 zariユーザーでログイン中 ターミナルでbashを利用 関連する日記 Spotlight対応のスティッキーズにしておく コマンド書式 crontab -l # zariユーザーのcron設定を表示する crontab -e # zariユーザーのcron設定をviを起動して編集する sudo crontab -u Guest -l # ルート権限で認証して、Guestユーザーのcron設定を表示する 実行する時間の設定とコマンドから構成される。 * * * * * command | | | | | | | | | `--曜日（0:日 1:月 2:火 3:水 4:木 5:金 6:土
＠IT：Linux起動の仕組みを理解しよう［rcスクリプト編］
今回は、前回紹介し切れなかったrcスクリプトについて解説する。rcスクリプトも、理屈を理解してしまえば容易に管理できる。管理方法のついでに、rcスクリプトの書き方もマスターしてしまおう。 前回のLinux起動の仕組みを理解しよう［init/inittab編］では、カーネルがinitプロセスを起動して、さまざまな処理を行うことを説明しました。今回は、各種サービスの起動を行うrcスクリプトについて見ていきましょう。 rcスクリプトの管理の仕組み rcスクリプトは、Windowsのautoexec.batに相当すると考えればいいでしょう。もちろん、rcスクリプトとautoexec.batでは異なる点があります。rcスクリプトは、対応する作業ごとに1つずつ、複数のファイルで構成されています。また、ランレベルごとに実行するrcスクリプトを変えることができます。 rcスクリプトの実体は、/etc/in
環境変数マニュアル
環境変数とは、いろいろなアプリケーションが参照する定義です。LESSCHARSET のように、あるコマンドだけが参照する環境変数と、HOME、EDITOR などのように多くのコマンドが参照する環境変数があります。環境変数の設定方法は csh・tcsh と sh・bash で違います。 % setenv ENVIRONMENT_VARIABLE CONTENT (csh・tcshの場合) % ENVIRONMENT_VARIABLE=CONTENT; export ENVIRONMENT_VARIABLE (sh・bashの場合)とすると、環境変数 ENVIRONMENT_VARIABLE の値が CONTENT にセットされます。シェルによって 「=」を付けるかどうかが変わることに注意してください。現在設定されている環境変数を見るには、setenv コマンドや printenv コマンドを
bash や zsh の alias を sudo でも使えるようにする - trial and error
おはようございます。 朝から、忘れないように、ちょっと個人的なメモも含む post を。 僕は、普段から .zshrc にこんな記述を追加して暮らしています。 alias emacs='emacs -nw' まあ、エディタごときにいちいちウィンドウなんか開くなと。 いつの日からか、エディタは全部 emacs で済ますようになり、プログラムもほとんど emacs で書くようになりました。 しかしですよ、ある日 sudo emacs hogehoge したら、ウィンドウが開くわけですよ！ うざー！ どうも、sudo で実行したコマンドには、sudo したユーザーの .zshrc, .bashrc などの alias は効かないらしい。 最初は、Google して、こんなものを見つけました。 bash aliases through sudo - Ubuntu Forums ほー。と、ほんの少
bashの便利な機能を使いこなそう（2/2）
bashのカスタマイズ bashは、組み込みの「シェル変数」を使ってその動作をある程度変更できます。シェル変数の設定方法は、 のように、変数名に数値あるいは文字列を代入する形になります。 組み込み変数にどんなものがあるか、ざっと見てみましょう。 ヒストリ関係 ●HISTCMD 現在のコマンドのヒストリ番号。 ●HISTCONTROL ignorespace：スペースやタブで始まる行をヒストリに記録しない ignoredups：入力が最後のヒストリと一致する場合に記録しない ignoreboth：ignorespaceとignoredups両方を指定 指定なし：すべての入力をヒストリに記録する ●HISTFILE ヒストリファイル名。 例：HISTFILE=/home/username/.bash_history ●HISTFILESIZE ヒストリファイルに格納するヒストリの最大数。 ●H
【コラム】漢のzsh (24) グッバイ野郎ども! コピペではじめるzshファイナル | エンタープライズ | マイコミジャーナル
1年半ぶりの連載再開でいきなり最終回、というやや乱暴な展開だが、後は読者諸兄の自己研鑽に期待したい。どんどんコピペしてzshの力を満喫してくれ! こいつを${HOME}/.zshrcにコピーだ! そのまま使えるコピペシリーズ第3弾をお届けしたい。本連載第10回と第22回でそのまま${HOME}/.zshrcにコピーすれば使える設定ファイルを紹介した。あれから1年半、zshはマイナーリリースを重ね当時とほぼ変わらない機能を提供している。"Z"の名にふさわしい鎮座ぶりだ。その間漢の設定ファイルも微調整を繰り返してきた。というわけでこれが最後だ。もってけ野郎ども! リスト1 コピー&ペースト対応${HOME}/.zshrc ファイル - FreeBSD/Mac OS X/Ubuntsu対応版 # users generic .zshrc file for zsh(1) ## Environmen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
find／grep／xargsコマンドを使いこなす 業務で楽するためのUNIXテクニック集「検索」編
CodeZine（コードジン）