PowerShellでsed相当の処理を行う | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXには、ファイルや変数、文字列の置換を行えるsedというコマンドが用意されている。 それと同じことをPowerShellで行う場合、どうすればよいのだろうか。 1.特定の文字列を置換する 基本の使い方である、特定の文字列をただ置き換える場合は「-replace」を利用すればいい。 Get-Content .\test.txt | % { $_ -replace "置換する文字列","置換後の文字列" } 2.上書き保存する sedの「-i」オプション相当の処理を行わせるには、ただパイプで「Set-Content」「Out-File」を行えば良い、というわけではない。 「Set-Content」ではプロセスが掴んでいるとエラーが出るし、「Out-File」ではただのからファイルが出来上がる。 sedの上書き保存を実現するには、一度置換後のファイルの中身を変数に出力させ、それ
ELB(ALB)の後ろにいるApache(2.4)で、IPアドレスによるアクセス制限とグローバルIPのログへの記録を行う | 俺的備忘録 〜なんかいろいろ〜
Blog 201711 ELB(ALB)の後ろにいるApache(2.4)で、IPアドレスによるアクセス制限とグローバルIPのログへの記録を行う Apache 2.4でグローバルIPアドレスを用いたアクセス制御を行う場合、以下のようにRequireディレクティブでアクセス元のグローバルIPアドレスを指定する。 <Directory /var/www/html/test> Require ip 8.8.8.8 </Directory> で、この時にAWSのELB(ALB)の後ろにいる場合だと、Apache側で認識するアクセス元IPアドレスはELBのローカルネットワークアドレスになってしまう。 Require ipでグローバルIPアドレスを認識する場合は、以下の一行をhttpd.confに追記してやり送信元IPアドレスにX-Forwarded-Forのものを利用する。 RemoteIPHead
CentOS/Ubuntuで使っていないカーネルを整理して/boot配下の容量を確保する | 俺的備忘録 〜なんかいろいろ〜
CentOSやUbuntuを使ってたサーバである程度運用を続けていると、updateの都度過去のkernelが溜まっていってしまい「/boot」配下の空き容量が無くなってしまう事がある。 そのまま放置して100%になるとyumやapt実行時にエラーになってしまうので、本来はちゃんと定期的に整理する必要があるのだけど、結構うっかりして放置してしまうことがある。で、今回はそんな/boot配下の不要なカーネル等の一括削除を行っていく。 1. CentOSの場合 CentOSの場合、yum-utilsパッケージのpackage-cleanupコマンドが入っているかどうかで対応が異なってくる。 package-cleanupコマンドがインストールされているようであれば、以下のコマンドで自動的に古いカーネル等を削除してくれる(countで残す世代数を定義している)。 sudo package-clea
UbuntuやCentOSに入ってるwhiptailでTUIっぽいスクリプトを作成する(+注意点とか) | 俺的備忘録 〜なんかいろいろ〜
個人的に、数字を入力してリストから選択するとかがあまり好きではなく、コンソール上でもカーソルキーとかで選択したりしたいタイプなのだが、実はUbuntuやCentOSの場合ならインストール時にwhiptailというコマンドがバンドルされている。 これ、なんのコマンドなのかというとOSインストール時とかに表示される疑似GUIみたいなTUIを扱えるようにするコマンドで、まあ↓のようなやつ。多分一回は見たことあると思う。 で、このコマンドでは色々な種類のレイアウト(リストからの選択や入力など)をオプションで指定ができる。 ncursesとか使って別途プログラムを書くという方法もあるけど、そこまでしたくない処理であれば、これを使ってお手軽TUIなスクリプトを作ることが可能。 以下のようにオプション等を指定して実行する。ボックスオプションで指定する<height>は行、<width>は文字単位で指定す
PostgreSQLでテーブル・ビューの作成時のSQLを確認する | 俺的備忘録 〜なんかいろいろ〜
ときたま、既存のPostgreSQL環境でテーブルやビューの作成時のSQLを確認することがある。 MySQLとかだと「SHOW CREATE ~」で確認できるのだけど、PostgreSQLでテーブル定義文を確認する場合はSQLからは確認ができず、pg_dumpでバックアップデータを取得してCREATE TABLEを抽出することで対応する。 pg_dump DB名 -s -t テーブル名 | awk '/^CREATE TABLE/,/^)/' -bash-4.2$ pg_dump test_db -s -t test_table --schema-only | awk '/^CREATE TABLE/,/^)/' CREATE TABLE test_table ( id integer NOT NULL, name character varying(50) ); ビューの場合も、同様の方
htopコマンドで覚えておきたい使い方11個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドをより見やすくしたhtopコマンド。 普通に使うだけでも便利なコマンドではあるが、いろいろな使い方を覚えることで更に便利に利用できる。 1.基本の使い方 基本的には、以下のようにオプション無しでコマンドを実行すればいい。 htop 各ステータスの見方はtopコマンドよりもわかりやすいだろう。 左上 上から順にCPU使用率、メモリ使用率、Swap使用率をバー表示させる。 右上 上から順にタスク、ロードアベレージ、Uptimeを表示させる。 下半分 通常のtopコマンドと同じように、プロセスのリストを表示させている。 その他、細かい仕様方法はF1キーのヘルプにわかりやすく記載されている。 なお、地味にマウスクリックでもプロセスの選択やソートが可能となっているので、必要に応じて使ってみると良いだろう。 2.表示させる内容を変更する F2キーを押下することで、表示させる情報の順番を入
mysqldumpでsshごしにリモートサーバにMariaDBのバックアップを取得する | 俺的備忘録 〜なんかいろいろ〜
MariaDBで手元のPC上で動作しているDBから、リモートサーバにssh越しにバックアップする必要があったので、備忘で残しておく。 mysqldump -u ユーザ名 -p パスワード DB名 | gzip | ssh リモートサーバ 'cat > ~/BackupPATH.sql.gz' mysqldump --single-transaction -u ユーザ名 -p パスワード DB名 | gzip | ssh リモートサーバ 'cat > ~/BackupPATH.sql.gz' # オンラインバックアップ なお、逆のパターン(リモートのDBサーバから手元の環境にssh越しにバックアップを取得する)の場合は以下。 ssh リモートサーバ 'mysqldump -u ユーザ名 -p パスワード DB名 | gzip' | cat > ./BackupPATH.sql.gz ssh
Nginxのログをsyslog(rsyslog)で管理する | 俺的備忘録 〜なんかいろいろ〜
Nginxのログをsyslogで管理する場合、Niginx 1.7.1以降であればaccess_logおよびerror_logがSyslogをサポートするようになっている。 2017年3月現在、aptや(Epel経由にはなるが)yumでインストールできるNginxは1.7.1以降になるので、その前提で進めていく。 設定自体は簡単で、Nginxの設定ファイルでaccess_log/error_logの設定を以下のように書き換えてやればよい。 ただ、ローカル内のSyslogへ転送する場合でもUDP経由で送る必要がある(上にtcpで直接リモートのサーバには転送できない)ので、事前にrsyslogの設定でudpからのログを受信するよう設定しておくこと。
正規表現ジェネレーターコマンド『rgxg』を使ってみる | 俺的備忘録 〜なんかいろいろ〜
諸事情あって正規表現について調べていたところ、どうやら正規表現を作成してくれる『rgxg』というコマンドがあるようだ。 早速、インストールして使ってみよう。 なお、検証したOSはUbuntu 14.04 LTSを用いている。 1.インストール まずはインストールから。 以下のコマンドでインストール出来る。 sudo apt-get install rgxg これでインストールが出来た。 2.実行 さて、それでは実際にコマンドを実行してみよう。 詳細な使い方については、manで見てもらうとして、ここではいくつかの例を抜粋して紹介する。 このrgxgコマンドでは、基本的には以下のようにサブコマンドを指定して正規表現を生成する。 rgxg [alternation,cidr,escape,range] 正規表現にしたい内容 blacknon@BS-PUB-UBUNTU-01:~$ rgxg Us
CentOS 7でSELinux・ファイアウォールの無効化 | 俺的備忘録 〜なんかいろいろ〜
以前に記述した、SELinux・iptablesの無効化のCentOS 7での対応方法。 基本的にはちゃんと設定してあげるべきなのだが、検証でのみ利用する場合だと不要なときもあるので、その時のための対応。 1.SELinuxの無効化 SELinuxの無効化については、他のディストリビューションと変わらない。 まず、以下のコマンドでSELinuxの停止を行う。 setenforce 0 次に、以下のコマンドでSELinuxの設定ファイル「/etc/selinux/config」を編集し、OS起動時にSELinuxが無効となるように設定する。 sed -i.bak "/SELINUX/s/enforcing/disabled/g" /etc/selinux/config これで、SELinuxの無効化設定が完了した。 2.ファイアウォールの無効化 CentOS 7でファイアウォールを無効化する
CentOS 7でのネットワーク設定 | 俺的備忘録 〜なんかいろいろ〜
今回は、CentOS 7でのネットワーク設定を行っていく。 CentOS 7になってから、ネットワークインターフェイスの名称が変更になったようだ。 いままでは「eth～」であったものが、今回からは「ens～(私の環境だとens160)」という名称になっており、少々わかりづらくなっている。 設定ファイルの場所自体は変わっておらず、「/etc/sysconfig/network-script」配下に設置されている。 [test@localhost ~]$ ls -la /etc/sysconfig/network-scripts/ifcfg* -rw-r--r--. 1 root root 321 7月 8 07:03 /etc/sysconfig/network-scripts/ifcfg-ens160 -rw-r--r--. 1 root root 254 4月 3 00:30 /etc/
Linux・UNIXでExcelのフィルタのように、ファイルから〇〇以上、〇〇以下で行を抽出する方法 | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXで、Excelのフィルタ機能のように特定の列で〇〇以上、〇〇以下といった指定方法で行を抽出する場合は、awkを使うとカンタンだ。 awkで特定列の値が〇〇以上の行を指定する場合は、以下のように指定する。 awk '列 >= 条件' 対象ファイル 複数条件を指定する場合は、以下のように「&&」で繋げる(orの場合は、「||」で繋げる)。 例えば、特定列の値が〇〇以上、〇〇以下といった指定をする場合は、以下のようにする。 awk '列 >= 条件 && 列 <= 条件' 対象ファイル [root@test-centos7 ~]# cat /work/test5_7.txt 1 aaaaa 10 2 bbbbb 4 3 ccccc 7 4 ddddd 3 5 eeeee 9 6 fffff 6 7 ggggg 8 8 hhhhh 2 9 iiiii 1 10 jjjjj 5
uniqコマンドで覚えておきたい使い方6個 | 俺的備忘録 〜なんかいろいろ〜
uniqコマンドは、Linux/UNIXで使用される、重複した行を圧縮して出力してくれるコマンドだ。 今回は、このコマンドについて覚えておきたい使い方についてを紹介する。 1.基本的な使い方 基本的には、以下のように使用することで標準出力の内容から重複行を圧縮して表示させることが出来る。 [root@test-centos7 ~]# cat /test/test3.txt aaaaa aaaaa aaaaa bbbbb bbbbb bbbbb bbbbb bbbbb ccccc ccccc [root@test-centos7 ~]# cat /test/test3.txt | uniq aaaaa bbbbb ccccc この時注意したいのが、「連続していない行」の場合は圧縮しないという点だ。 たとえば、以下のような状態でuniqコマンドを実行しても、重複した行は残ってしまう。 [roo
sedコマンドで覚えておきたい使い方12個(+3個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXを使う上で、ある程度使えると非常に便利な置換コマンドが、このsedコマンドだ。 今回は、このsedコマンドで覚えておきたい使い方について紹介する。 なお、今回の置換・編集の例として、以下のファイルを用いて説明する。 [root@test-centos7 work]# cat /root/sed_test.conf # line 1 line1=enable # line 2 line2=disable # line 3 line3=enable # line 4 line4=enable 1.基本的な使い方 sedコマンドの基本的な使い方としては、以下のようにコマンドを実行することでファイル・標準出力の内容で文字列の置換を行う事だ。 なお、条件の最後に「g」を付けないと、"最初に、マッチした箇所のみ"置換するので注意。 ファイルの内容を置換する場合 sed 's/置換前
xargsコマンドで覚えておきたい使い方・組み合わせ7個(+1個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXで、コマンドちょっと組み合わせて利用する際、非常に役に立つxargsコマンド。 今回は、このxargsコマンドで覚えておきたい使い方・組み合わせについて紹介する。 1.基本的な使い方 まず、そもそもこのコマンドはどういう使い方をするのか。 基本的には、以下のようにパイプでつなぐことで前のコマンド(コマンド1)で取得した値(標準出力)を利用してxargsで指定した別のコマンド(コマンド2)に引数として渡して実行させる事ができるコマンドだ。 コマンド1 | xargs コマンド2 [root@test-centos7 ~]# find /work -type f /work/test2.txt /work/test.txt /work/aaaaa.txt /work/bbbbb.txt /work/ccccc.txt /work/ddddd.txt /work/sample
bashで覚えておきたいショートカットキー(キーバインド) | 俺的備忘録 〜なんかいろいろ〜
Linuxでデフォルトのログインシェルといえばbash。sshで接続するにしても、bashは必ず使うものだ。 今回は、そんなbashで利用できるショートカットキー(キーバインド)で覚えておくと便利なものをピックアップしてみた。 1.カーソル移動系 カーソルを移動する際に便利なショートカットキー。 こうしてみると、意外と知らなかったショートカットキーがあったりする。 コマンド 機能
vmstatコマンドで覚えておきたい使い方8個(+1個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXでパフォーマンスを監視する際にはお約束とも言えるvmstatコマンド。 どの現場でもよく使われるものだが、今回はこのコマンドで覚えておきたい使い方を紹介する。 なお、この内容はCentOS 7にてバンドルされている「procps-ng 3.3.9」のバージョンのものを用いている。 1.基本的な使い方 オプション無しで実行すると、以下のように現時点でのパフォーマンス情報が出力される。 vmstat [root@test-centos7 ~]# vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 80556 128 13915
PostgreSQLでデータベースごとの容量を確認する | 俺的備忘録 〜なんかいろいろ〜
仕事で、データベースのバックアップスクリプトの実行時間、負荷の関係からPostgreSQLでデータベースごとのファイル容量を調べる事があったので、念のため残しておく。 PostgreSQLでは、データベースごとの容量を調べる方法として幾つかの方法が用意されている。 1.「\l+」コマンドで確認する 一番カンタンな確認の仕方が、psqlで用意されている「\l+」コマンドの実行だろう。 通常、「\l」でデータベースの一覧が表示されるのだが、これに+を付け足すとデータベースサイズなどの情報も出力させることが出来る。 2.SQLで情報を取得する 以下のようなSQLを実行することで、データベースの容量を取得することも出来る。 select t1.datname AS データベース名, pg_size_pretty(pg_database_size(t1.datname)) as データベースサイズ
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドといえば、よくLinuxのパフォーマンス状態をモニタリングするために利用されているコマンドだ。 今回は、そんなtopコマンドで覚えておきたい使い方14個を紹介する。 なお、検証で使用したtopコマンドはCentOS 7 で利用している「procps-ng version 3.3.9」のものとなっている。 1.基本的な使い方 基本的には、オプション無しで以下のようにコマンドを実行する。 top top - 07:21:06 up 4 days, 17 min, 4 users, load average: 0.00, 0.00, 0.00 Tasks: 186 total, 1 running, 185 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows(PowerShell)でプログラムをnohupのようにバックグラウンド実行させる | 俺的備忘録 〜なんかいろいろ〜