テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記
個人的にテキストファイルを処理することが多いのですが，簡単な処理ならUnixのコマンドをパイプとリダイレクトで組み合わせてできることが多くあります．今回はそんななかでもちょっとマニアックなTIPSをまとめてみました． sortコマンドでタブ区切りのファイルを指定する最近知って驚愕したのがこれ．sortコマンドでタブ区切りのファイルを指定したいときは，Ctrl+v Tabでタブ文字を入力していたのですが，$ sort -t $'\t' -k 2,2 のようにしてタブ区切りで2番目のキーでソートすることができます． 1000行おきにデータをサンプリングする1000行おきにファイルからデータをサンプリングしたいときとかは，perlでワンライナーを書くのが速いようです．$ perl -ne '$i++; print unless ($i % 1000)' 某所のコードゴルフによるとこれだけ短くでき
シェルスクリプトはエレガントでなければならない
/bin/shの実体としてはash（dash）、bash、kshの採用例が多い。どのシェルもBourne shellの機能に加えて、拡張機能を提供する。 FreeBSDなどの＊BSD系のOSは、ashを/bin/shとして使っている。ashはPOSIX.1（POSIX:2008）にいくらかのBSD拡張機能を取り込んだシェルだ。メモリをあまり消費せず、高速に動作し、ほかのライブラリに依存することが少ない。従って、rootやレスキューシステムのインタラクティブシェル、システムのシェルスクリプトといった場面で採用されている。 Mac OS Xはbashを/bin/shに採用している。FedoraやopenSUSEなどのLinuxディストリビューションもbashを/bin/shに採用している。LinuxディストリビューションでもUbuntuやDebian、Linux Mintなどは、高速に動作する
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
tailコマンドって-c使うと超速い - As a Futurist...
Twitter でつぶやいたら意外と知られて無かったので記事にしておきます。 Linux とかで巨大なログファイルとかを扱うときに、head や tail というコマンドで先頭から何行とか 末尾から何行を見たい時があると思います。 例えばアクセスログで末尾から 10000000 行目辺りをみたいとかいうときに $ tail -n 10000000 access_log | head とかするとかなり遅いと思います。これはログの後ろの方から読み込みながら 行数を計算しているからで、10000000 行分数えないとどこから表示すればいいのかわからないので なかなか結果が返ってこなくてヤキモキしてしまいます。 こんなときに、-cというオプションを使うと超高速で結果が返ってきます。-cというのは -c, --bytes=N output the last N bytes とある様に、ファイルの末尾
今さら聞けないSubversion使い方まとめ
皆さん、こんばんは。笹亀です。 ご挨拶が遅くなりましたが、明けましておめでとうございます。 今年も良いブログを皆さんにご提供できるように頑張ります！ 先日のニュースでAppleCEOのスティーブ・ジョブスさんが病気で休暇に入るとの心配なニュースをみました。急なことでとても心配です。１日も早い復帰をお祈り致します。 さて、本日はSubversion(svn)の基本コマンドからよく使うコマンドやこだわりの使用方法まで一気にご紹介します。いろんなサイトを観て確認しながら使うことが多いので、よく使うコマンドやこだわりの方法をメインにご紹介できればと思います。 まずは基本コマンドの紹介です。 ーーーーーーーーーーーーーーーーーーーーーーーー ■基本コマンド １．バージョン管理されているモジュールを取り出す
mysqlコマンドをより便利に安全にするための小粒なTIPS集｜サイバーエージェント 公式エンジニアブログ
初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ＆教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便
超便利なワンライナーを、コマンドラインで検索できるgemパッケージ「cmdline-fu」 - 元RX-7乗りの適当な日々
Linux等のコマンドラインで使える便利なワンライナーを、世界中のみんなで共有しちゃおうという「Command-line-fu」というサイトが素敵！ All commands 以前、100SHIKIさんでも、以下のように紹介されていました！ Command-line-fuではLinuxなんかのコマンドラインで使えるワンライナー（一行プログラム）を投稿・共有できる。 自分がよく使うワンライナーを保存しておいて使うも良し、他の達人の技を盗むも良し、の素晴らしきサービスである。 ちょっとのぞいてみただけでも「へー、一行でここまで出来るんだ・・・」という小技があってかなり勉強になる。 コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI で、サイトで新しく投稿されたワンライナーをブラウザで眺めたり、サイトでキーワード検索したり、RS
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
上に行くcd作った - hitode909の日記
シェルで，上のディレクトリに行くのがめんどくさくて，cd ../../../../とかしないといけなくて，指を痛める． 上に行くためのupっていうコマンドを作ることにした． その1 up 3ってやると，3つ上に行くのを作った． function up() { i=0 while [ $i -lt $1 ] do cd ../ i=`expr $i + 1` done } 使い方 % pwd /Users/fkd/co/dev/dotfiles % up 3 % pwd /Users/fkd %これは使いにくくて，cd ../../って打つときは，いくつ上に行くか考えながら，../って打ってる．これだと，先に数えておかないといけなくて，難しかった． その２ 考えながら入力できるようにしてみた．引数の数だけ見る． function up() { i=0 while [ $i -lt $# ]
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
コマンドプロンプト内でCTRL+Vペーストを使用可能にする方法 | ライフハッカー・ジャパン
さまざまなアプリとコマンドプロンプトを行ったり来たりして使っている方であればCTRL+Vでペーストが出来ないことに憤りを感じていているのでは？ WindowsのコマンドプロンプトをAutoHotkeyスクリプトを使って改良し、キーボードショートカットによるペーストを可能にする方法を、今回はご紹介。 使い慣れたショートカットが使えると、コマンドプロンプトを使ってあれこれ作業をしている際、特に他のソースからコマンドをコピーしたい場合などにはかなり時間の節約が可能に。How-To Geekサイトに掲載されているクリップボード内のテキスト内容をCTRL+Vショートカットを使ってコンソールウィンドウにペースト可能にするAutoHotkeyスクリプトは下記の通り。 下記のテキストをAutoHotkeyの新規スクリプトに貼り付けます。 #IfWinActive ahk_class ConsoleWind
最近知ったLinux/UNIXの小技 - harry’s memorandum
最近知って結構ショックを受けた。 touch hoge.txt と似たような機能。*1 $ > hoge.txt $ ls -l hoge.txt -rw-r--r-- 1 root root 0 Jul 10 03:15 hoge.txt lessでtail -f ができる。 $ sudo less +F /var/log/messages SSHでリモートサーバに対して色々 リモート先のファイルをsortして比較。パスフレーズなしにするか、ssh-agentを使用するかしてください。 $ diff <(sort /home/user/.bashrc) <(ssh user@hostname "sort /home/user/.bashrc") リモートサーバのファイルを編集 $ vim scp://user@hostname//home/user/.bashrc sambaのコマンドで
ほんとうに便利なGoogleコマンドライントリック5選！ | ライフハッカー・ジャパン
かっこよくコマンド実行を決める前にシステム上にいくつかのアイテムをインストールし、GoogleCLが作動出来る環境を整える必要があります。 Windowsユーザの方は『Cygwin』をインストールして下さい。（Cygwinの使い方がいまいち分からない、という方はジーナによるCygwin入門の記事（英語）（Cygwnの日本語化はこちらやこちらをどうぞ）を読んでみて下さい）。 Windowsのコマンドプロンプトをどうしても使いたい、という方はGoogleCLの設定方法をここで読んでおいて下さい。 Python 2.5以降がまだシステムにインストールされていない場合、インストールして下さい。やり方は、コマンドラインプロンプトから 「python -V」と入力するだけです（スクリーンショット参照）。 次にGoogleからユティリティを二つダウンロードしてインストールします。一つ目はgdata-py
プログラマーが覚えておくべき10のLinuxコマンド。 - このブログは証明できない。
ls -l 上司が通りかかったときに使うコマンド。 date 出社後、朝イチで使うコマンド。 su ログインしたら必ず最初に使うコマンド。 apt-get moo 仕事中に2ch見てたときに使うコマンド。 who 自分が何者かわからなくなったときのコマンド。 yum search 愛 No Matches found banner KAERITEEEE 大声で叫びたいときに使うコマンド。 halt 定時ダッシュ前に使うコマンド。 wget -r -l 1 -A .jpg -H -D blog-imgs-42-origin.fc2.com http://kanasoku.blog82.fc2.com/blog-entry-13978.html オカズ画像をダウンロードするコマンド sudo rm -rf / 何もかも忘れて幸せになれるコマンド。 プログラマーが覚えておくべき10の英語フレーズ
覚えておきたいMacのターミナルコマンド集 – creamu
ちょっとMacのターミナルコマンドがまとめてみたくなったのでまとめてみます！ whatis コマンドの用途を教えてくれる。 $ whatis cp cp(1) – copy files sleep 指定秒後にコマンドを自動実行。 $ sleep 60; open ./test.mp3 60秒後にtest.mp3を再生。 date 現在日時と曜日を表示。 $ date 2008年 9月13日 土曜日 18時08分40秒 JST cal 指定した年月のカレンダーを表示。 $ cal 9 2008 2008年9月のカレンダーを表示。 df / ディスクの使用量（Capacity）を表示。 whois ドメインの所有者を調べられる。 例) whois apple.com ifconfig ローカルのIPアドレスなど、ネットワーク情報が調べられる。 dig ドメインのIPアドレスなど、詳細情報がわか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
IDEA * IDEA
