コマンドの並列化を行える『GNU parallel』の個人的使い方まとめ | 俺的備忘録 〜なんかいろいろ〜
コマンドの並列処理を行う際、個人的にはGNU Parallelコマンドを使用するか、xargsで-Pオプションを付与するかのどちらかを使うことが多いのだが、GNU Parallelのオプションや使い方についてちゃんと調べた事がなかったので、調べてまとめてみることにする。 なお、検証に利用するGNU parallelのバージョンは以下。 blacknon@BS-PUB-DEVELOP:~$ parallel --version GNU parallel 20141022 Copyright (C) 2007,2008,2009,2010,2011,2012,2013,2014 Ole Tange and Free Software Foundation, Inc. License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licen
sshコマンドでパスワードをオプションとして入力出来るようにする『sshpass』 | 俺的備忘録 〜なんかいろいろ〜
ターミナル(コンソール)からコマンドでSSH接続を行う際にsshコマンドから行うと、通常であれば以下のようにパスワードの入力を求められる。 $ ssh root@192.168.0.XXX root@192.168.0.XXX's password: sshコマンドを利用した場合、通常の利用方法ではログインを行うSSHサーバとの通信を鍵認証にでもしない限りはパスワードを求められてしまう。 このパスワードの入力をsshコマンドと同時にできるようにするのが、今回紹介するsshpassコマンドだ。 $ # sshコマンドだけの場合 $ ssh root@192.168.0.209 root@192.168.0.209's password: Last login: Sun Jan 25 15:17:05 2015 from 192.168.0.XXX [root@localhost ~]# [r
CentOS 7でWEBブラウザからssh接続できる踏み台サーバ『KeyBox』を使ってみる | 俺的備忘録 〜なんかいろいろ〜
sshの踏み台サーバについて調べていたところ、ブラウザ経由でssh接続が行える『KeyBox』というツールを見かけたので、ちょっと試してみることにする。 触ってみた感じ、接続の種類や機能はApache Guacamoleに比べて少ないのだが、Guacamoleはコンソールに表示される文字列を直接コピペできないのに対し、KeyBoxは行えるので、用途によってはありかなと思う。 設定次第でLDAP認証も行え、二要素認証がデフォルトで設定可能なのも良い感じだ。 ちょっと前にlsshを使って似たようなことをやらせてみたけど、あちらではsshで繋げないといけないし、こちらはWebだけで完結するのは良さげだ。 1. KeyBoxを動作させる KeyBoxはJavaで書かれているので、まず以下のコマンドでOracle JDK 1.8をインストールしてやる。 wget --no-check-certifi
Linuxで全コマンドの実行履歴を記録する方法いろいろ | 俺的備忘録 〜なんかいろいろ〜
以前に、いろいろとLinuxでコマンドの実行履歴をログに記録する方法について書いてたので、まとめてみることにした。 1.シェルのhistoryを利用する まぁ、基本といえば基本。 シェルのhistory機能を使って記録しておくというもの。 ただ、デフォルトだとファイルへの書き出しがセッションクローズ後で、タイムスタンプもついてないので、そのままでは使いにくい。 また、コマンドの実行ユーザが権限を持っているので、ファイルを直接編集できるのもよくないかも。 2.bashの機能を用いる bash 4.1以降だと、実行したコマンドをsyslogで記録させることができるようになっている。 ただ、CentOSやUbuntuだとそのままでは利用することはできず、コンパイルしなおす必要がある。 yumやapt-getでアップデートができなくなるので、何かしらの脆弱性が見つかるとコンパイルしなおす必要が出て
正規表現ジェネレーターコマンド『rgxg』を使ってみる | 俺的備忘録 〜なんかいろいろ〜
諸事情あって正規表現について調べていたところ、どうやら正規表現を作成してくれる『rgxg』というコマンドがあるようだ。 早速、インストールして使ってみよう。 なお、検証したOSはUbuntu 14.04 LTSを用いている。 1.インストール まずはインストールから。 以下のコマンドでインストール出来る。 sudo apt-get install rgxg これでインストールが出来た。 2.実行 さて、それでは実際にコマンドを実行してみよう。 詳細な使い方については、manで見てもらうとして、ここではいくつかの例を抜粋して紹介する。 このrgxgコマンドでは、基本的には以下のようにサブコマンドを指定して正規表現を生成する。 rgxg [alternation,cidr,escape,range] 正規表現にしたい内容 blacknon@BS-PUB-UBUNTU-01:~$ rgxg Us
sedコマンドで覚えておきたい使い方12個(+3個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXを使う上で、ある程度使えると非常に便利な置換コマンドが、このsedコマンドだ。 今回は、このsedコマンドで覚えておきたい使い方について紹介する。 なお、今回の置換・編集の例として、以下のファイルを用いて説明する。 [root@test-centos7 work]# cat /root/sed_test.conf # line 1 line1=enable # line 2 line2=disable # line 3 line3=enable # line 4 line4=enable 1.基本的な使い方 sedコマンドの基本的な使い方としては、以下のようにコマンドを実行することでファイル・標準出力の内容で文字列の置換を行う事だ。 なお、条件の最後に「g」を付けないと、"最初に、マッチした箇所のみ"置換するので注意。 ファイルの内容を置換する場合 sed 's/置換前
bashで覚えておきたいショートカットキー(キーバインド) | 俺的備忘録 〜なんかいろいろ〜
Linuxでデフォルトのログインシェルといえばbash。sshで接続するにしても、bashは必ず使うものだ。 今回は、そんなbashで利用できるショートカットキー(キーバインド)で覚えておくと便利なものをピックアップしてみた。 1.カーソル移動系 カーソルを移動する際に便利なショートカットキー。 こうしてみると、意外と知らなかったショートカットキーがあったりする。 コマンド 機能
vmstatコマンドで覚えておきたい使い方8個(+1個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXでパフォーマンスを監視する際にはお約束とも言えるvmstatコマンド。 どの現場でもよく使われるものだが、今回はこのコマンドで覚えておきたい使い方を紹介する。 なお、この内容はCentOS 7にてバンドルされている「procps-ng 3.3.9」のバージョンのものを用いている。 1.基本的な使い方 オプション無しで実行すると、以下のように現時点でのパフォーマンス情報が出力される。 vmstat [root@test-centos7 ~]# vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 80556 128 13915
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドといえば、よくLinuxのパフォーマンス状態をモニタリングするために利用されているコマンドだ。 今回は、そんなtopコマンドで覚えておきたい使い方14個を紹介する。 なお、検証で使用したtopコマンドはCentOS 7 で利用している「procps-ng version 3.3.9」のものとなっている。 1.基本的な使い方 基本的には、オプション無しで以下のようにコマンドを実行する。 top top - 07:21:06 up 4 days, 17 min, 4 users, load average: 0.00, 0.00, 0.00 Tasks: 186 total, 1 running, 185 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0
UNIX・Linuxでファイル名・フォルダ名の一括置換を行う | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXを利用していると、スクリプト名などのファイル名のルールが変更したため、一括で置換を行いたいときがある。 そんな時は、どうすればいいのだろうか？ 1.『rename』コマンドを利用する もし『rename』コマンドがあるようならば、これを利用するといいだろう。 Linuxには大体最初から用意されている。(なお、Ubuntuの場合だと置換の指定方法がPerl(sed)の指定方法になっている) rename 置換する単語 置換後の単語 対象PATH この対象PATHにはワイルドカードも利用できるので、以下のように一括で置換を行える。 [root@test-centos7 test]# ls -l 合計 0 -rw-r--r--. 1 root root 0 7月 3 06:37 TCScript0.sh -rw-r--r--. 1 root root 0 7月 3 06:37
Linuxでソースからコンパイルしてインストールしたパッケージを管理する『porg』 | 俺的備忘録 〜なんかいろいろ〜
yumやapt-getからインストールしたり、rpmやdebパッケージを利用してインストールした場合、アンインストールやアップグレードを行うのは簡単だ。 しかし、ソースファイルからコンパイルしたパッケージの場合、makeファイルにuninstallが用意されているならまだしも、もし用意されてないと、パッケージをアンインストールしたりするのは非常に大変だ。 そんなソースからコンパイルしmake installしたパッケージを管理してくれるのが、『porg』だ。pacoという、同じくソースからインストールしたパッケージの管理ツールが前身。 今回は、この『porg』をCentOS 7に実際にインストールし、ソースからインストールしたパッケージを管理してみることにする。 1.『porg』のインストール まずは『porg』のインストールから。 以下のコマンドを実行し、パッケージのソースコードをダウン
Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 | 俺的備忘録 〜なんかいろいろ〜
Blog 201409 Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 前回、Webサーバのログを解析、モニタリング出来る『GoAccess』というツールを紹介したが、今回はそれと似たツール『request-log-analyzer』を紹介する。 このコマンドも『GoAccess』と同様にログを解析することが可能。解析できるログもWebサーバだけではなく、MySQLやPostgreSQL、Ruby on Railsと様々なログを解析できる。 ただし、ターミナル上でのリアルタイムのモニタリングには不向きなので、用途に応じて使い分けたほうがいいだろう。 1.インストール まずはインストール。以下のコマンドを実行する。 gem install request-log-analyzer 2.コマンドの実行 インストールができたら、
Webサーバのログをリアルタイムで解析、監視できる『GoAccess』コマンド | 俺的備忘録 〜なんかいろいろ〜
今回は、Webサーバのログ解析をリアルタイムで行えるコマンド『GoAccess』を紹介する。 1.インストール まずはコマンドのインストールから。 以下のコマンドを実行する。 ソースコードからmakeする場合 wget http://tar.goaccess.io/goaccess-0.8.5.tar.gz tar -xzvf goaccess-0.8.5.tar.gz cd goaccess-0.8.5/ ./configure --enable-geoip --enable-utf8 make sudo make install パッケージ管理ソフトからインストールする場合 brew install goaccess (Mac OS Xの場合) sudo apt-get install goaccess (Debian/Ubuntuの場合) sudo yum install goacc
Linuxコンソール上で使えるEvernoteクライアント『Geeknote』 | 俺的備忘録 〜なんかいろいろ〜
前回、Linuxコンソール上でDropboxを利用する方法について記述したので、今回はEvernoteを利用する方法についてを紹介する。 EvernoteをLinuxのコンソール上から利用するには、コンソール用のEvernoteクライアントパッケージ『Geeknote』を利用するとよい。 1.インストール まずは、こちらのページを元に以下のコマンドを実行しパッケージのインストールから行う。 git clone git://github.com/VitaliyRodnenko/geeknote.git cd geeknote sudo python setup.py install これでインストールが出来る。 次にEvernoteにログインを行う。 以下のようにコマンドを実行する。 $ geeknote login Login: (Evernoteのユーザ名) Password: (Eve
Linuxコンソール上からCUIでDropboxに接続、マウントする方法 | 俺的備忘録 〜なんかいろいろ〜
今回の内容は、Linuxコンソール上からCUIでDropboxをマウントし利用する方法についてを紹介する。 Linuxのコンソール上からDropboxを利用するには、Gitに登録されている『Dropbox Uploader』というスクリプトを用いる。 1.ツールのダウンロードとインストール まずは『Dropbox Uploader』を使うため、git cloneでファイルを取得、権限を与えインストールを行う。 git clone https://github.com/andreafabrizi/Dropbox-Uploader/ cd Dropbox-Uploader/ chmod +x dropbox_uploader.sh ./dropbox_uploader.sh App Keyを求められるので、表示されている手順に従い、まずは表示されているURL(https://www2.drop
ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜
今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 sudo yum install ccze --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。 tailコマンドで、「/var/log/messages」を確認する。 tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。 下半分でcczeを用いている。 うーむ、確かに見やすい… むろん、「tail -F」でも閲覧可能だ。 tail -F /var/log/messages | ccze -A ちなみ
vmstatのように扱えるモニタリングツール『Collectl』コマンド | 俺的備忘録 〜なんかいろいろ〜
今まで、 『nmon』や『Glances』、『saidar』といった監視ツールを紹介してきたが、今回はvmstatライクなコマンド『Collectl』コマンドを紹介する。 このコマンドは、vmstatのように出力した結果を外部ファイルに出力させる事が出来るツールだ。 1.インストール まずは、以下のコマンドでインストールを行う。 sudo apt-get install collectl # Debian/Ubuntuの場合 sudo yum install collectl # RHEL系の場合 2.コマンドの実行 さて、それでは実際に『Collectl』コマンドを実行してみよう。 まずはヘルプの内容から。 $ collectl -h defined(@array) is deprecated at /usr/share/collectl/formatit.ph line 3149. (
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
かっこ良くネットワークトラフィックを監視！『Speedometer』コマンド | 俺的備忘録 〜なんかいろいろ〜
今回は、ネットワークトラフィックをかっこよくモニタリング出来るツール『Speedometer』コマンドを紹介する。 1.インストール 以下のコマンドを実行し、インストールを行う。 Debian/Ubuntuの場合 sudo apt-get install speedometer RHEL系の場合 yum install python-urwid wget http://excess.org/speedometer/speedometer-2.8.tar.gz tar -xvzf speedometer-2.8.tar.gz cp speedometer.py /usr/local/bin/speedometer chown root: /usr/local/bin/speedometer chmod 755 /usr/local/bin/speedometer これでインストールが完了する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ぱっと見でわかりやすいネットワークモニタリングコマンド『iftop』 | 俺的備忘録 〜なんかいろいろ〜