はてなブックマーク

Yubikeyでは、Mac OS Xログイン時にパスワードとセットでYubikeyを使用しないとログインできないようにする(二要素認証設定ができる)ことができるので、実際やってみることにした。 手順も用意されていて結構簡単に実現できるようになっている。 参考にする手順はこれ(2016年12月)。 事前に、Yubikeyでチャレンジレスポンスの設定(手順上はSlot2なので、検証時はSlot2で行った)をしておくこと。 まず、こちらのページから「Mac OS X Logon (using Yubico-PAM)」をクリックし、pamモジュールのインストーラーをダウンロード、2要素認証を設定するMacにインストールする。 インストール後、「/usr/local/lib/security/pam_yubico.so」が配置されていることを確認する。 確認できたら、YubikeyをMacに差し込ん

Blog 201912 awk(gawk/mawk)でaccesslog内の日付(yyyy/mm/dd HH:MM:SS)にn時間追加したり、フォーマットを変換して出力させる たまにlogを見ながら作業をしたりすることがあるのだけど、そういうときサーバによってはログの日付がGMTで記録されてたりする。 ここは日本であり、やはり自分もJSTで普段生活しているので、いちいち脳内で+9時間して読み取るのはちょっとだるい。できればJSTになってる時刻でログを読みたいところ・・・。 というわけで、取得したログをJSTに変換して出力する方法について考えてみることにした 1. awkで日付を変換する(外部コマンド使用) apacheのログなんかだと、デフォルトでは日付の表記が「28/Nov/2019:09:03:19」のようになってしまっている。 これだとちょっとawkでは扱いづらい面があるため、dat

ちょっとやり方ど忘れしてググった際にうまいこと出てこなかったので、念のため残しておく。日本語って難しいなぁと…。 1.指定した列の合計を求める 特定の列全体の合計を求める場合は、以下のようにforで対象の列を足していく。 例えば2列目の合計のみを求める場合なら、以下のようにコマンドを実行する。 awk '{a+=$2} END{print a;}' ファイルPATH [root@BS-PUB-CENT7-01 tmp]# cat test5.txt 1 2 3 1 2 1 2 2 1 3 1 2 3 1 2 2 2 2 1 2 4 2 2 2 1 2 1 1 1 3 2 2 1 2 2 1 3 2 2 1 1 1 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 1 3 [root@BS-PUB-CENT7-01 tmp]# cat test5.txt | awk '{a+=$2

Blog 201905 ノートPCに入れたLinuxデスクトップで、元々入ってたOEM版のWindows10のライセンスを使って仮想マシンを作成する 元々はWindowsが入ってたノートパソコンにLinuxを入れて使っている場合、元々入ってたWindowsを仮想マシンなどで使いたいといった場合がある。 Windows 7とかだとPCに貼ってあるシールのライセンスを使えばとりあえず利用できたのだけど、Windows 10の場合はOEMライセンスとしてインストールされているので、ライセンスシールが貼ってなかったりする。 で、なんか方法無いのかなと調べてみたところ、どうやら仮想マシンのハードウェア情報を一部いじれば実現できそうだということがわかった。 I just bought a new laptop. The first thing I did was take out the unboot

sshやRDP、VNCの踏み台サーバとして利用できるApache Guacamoleでは、LDAP連携を行うことでActive Directoryユーザでのログインが行える。 設定は簡単で、公式で配布されているjarファイルを所定の位置に配置してやり、かつLDAP連携の設定を設定ファイルに追記するだけだ。 公式でも手順が公開されている(…今回は既存のADとの連携だったからかそのままは利用できなかったけど)ので、参照すると良いだろう。 まず、以下のコマンドでjarファイルのダウンロード・配置を行う。 (以下の例では、Guacamoleのバージョンが0.9.10となっているので、自身の環境に合わせてファイルをダウンロードすること。また、ファイルの配布先についても環境に応じて変更すること。) wget http://archive.apache.org/dist/incubator/guacam

たま～に、リアルなデータが入っておらず、適当なデータしか入ってないテーブルに対してSQLを実行し、どういう感じに書けばうまく動作するのかを確認したりしたいことがある。 こういう時、だいたい今までは適当な仮想マシンとかにDBインストールして、適当なデータ突っ込んだテストDBを作ったりしてたのだけど、それもちょっと面倒くさい。なんかいい方法ないかなと調べてみたところ、そういったときにも使えそうなSQLの学習サイト『SQLZOO』というサイトを見つけた。 どうやら日本語に翻訳もされてるようだ。こんなサービスがあるとは、知らなかった…。 SQL Tutorial/ja - SQLZOO 使い方は簡単で、学びたい内容のページを開き、もともと記述されているSQLをお題に沿ったものに書き換えてやり、「Submit SQL」ボタンを押下するだけだ。 ちなみに、アカウントを作成してないとうまく動かないのかも

たまーに、指定したファイルを使用しているプロセスを調べたいということがある。 そういうとき、大体は lsof や fuser で対象のプロセスを調べるのだけど、そういったツールが入ってない+インストールができない、めんどくさいといった場合、どうやって調べればいいのだろう。 Linux(というか、UNIX系OS共通だと思う)の場合、/proc配下にあるプロセスIDのフォルダの中にある各種ファイルやフォルダに使用しているファイルへのシンボリックリンクが貼られている(fdだったらstdoutやstderrといったファイルディスクリプタに。例として、「cmd > /path/to/xxx」と実行しているプロセスの場合なら、/proc/<pid>/fd/nは/path/to/xxxへのシンボリックリンクになっている)ので、fd,cwdフォルダ配下を調べてやればいい。 でその調べ方なのだけど、以下のよ

ネットをぼけーっと見てたところ、バイナリの値をいい感じに色分け表示してくれるCUIのバイナリビューア『hexyl』なるコマンドを見かけた。 Rustで書かれているらしい。 A command-line hex viewer. Contribute to sharkdp/hexyl development by creating an account on GitHub. 面白そうなので早速インストールしてみる。 # Debian / Ubuntu wget "https://github.com/sharkdp/hexyl/releases/download/v0.3.1/hexyl_0.3.1_amd64.deb" sudo dpkg -i hexyl_0.3.1_amd64.deb # OS X brew install hexyl これでインストールができた。 それでは、実際に使って

ぼーっとネットで調べものしてたところ、xargsとawkを組み合わせたようなツール『rargs』なるものを見かけたので、試しに使ってみることにする。 xnargs + awk with pattern matching support. ls *.bak | rargs -p '(.*)\.bak' mv {0} {1} - lotabout/rargs 1.インストール Rustで書かれているようで、インストールはCargoからコンパイルするか、[Release]q(https://github.com/lotabout/rargs/releases)からバイナリを取ってくる方法がある。とりあえずRustの環境は手元にあったので、その方法でインストールする。 cargo install --git https://github.com/lotabout/rargs.git 2.使ってみる

Blog 201810 シェル芸で、ローカルにあるbashrcやvimrcをssh接続先で(ファイルをコピーとかせずに)利用する 先日、 ssh接続先でローカルのbashrcを使うシェル芸 というのを書いたのだが、同じような方法を使えばvimrcやtmuxの設定ファイルも持っていけることに気づいた。 bashの--rcfileオプションのように、vimでも-uオプションで使用するvimrcファイルを指定できるので、bashと同じようにプロセス置換を利用してやればいい。 ただ、vimrcやtmux.confの場合、bashrcのように1回だけ読み込ませればそれでおしまいにはならない。 コマンドを実行するたびに設定ファイルを読み込むことになるので、起動してつなげっぱなしのbashとはすこしやり方が異なる。 vimやtmuxでやる場合、ローカルのvimrcやtmux.confの内容をbase64

諸事情が有り、Gitlabにpushと同時に対象の環境へ自動的にデプロイをさせたり、手動でデプロイさせる際にGitlab上でボタンクリックで行わせたいということがあった。 で、Gitlab CI/CDを用いてブランチごとに各環境へのデプロイを行わせる事にした。Gitlab CI/CDでは実行する処理をそのままbashスクリプトで書けるので、デプロイの方法は一般的であろうgit clone(fetch)後にその内容をrsyncでssh越しに同期させる方式を取る。 今更説明せんでもいいかなと思うのだけど、Gitlab CI/CDを使ってデプロイをする際は以下の役割(機能)を持つノードが必要になってくる。 Gitlabサーバ … Gitlabを動作させているサーバ Gitllab CI Runner … Gitlab CI/CDで、実際にビルドやテスト、デプロイを実行するノード(一応Gitlab

ふと、ローカルにあるbashのrcファイルを、ssh接続先で一時ファイルを作成せずに利用できないかなーと思ったので調べてみた。 で、調べた結果bashには実行時に指定したPATHのrcファイルを読み込むオプション(--rcfile)があるのがわかった。 であれば、ssh接続時にそのコマンドを実行し、さらにローカルファイルの内容をプロセス置換でファイルとして読み込むようにssh越しに渡してやればいけるということになる。 ssh -t user@host 'bash --rcfile <(echo "'"$(cat ./path/to/local.rc)"'")' # そのまま渡す場合 ssh -t user@host 'bash --rcfile <(echo -e '$(cat ./path/to/local|base64)'|base64 -d)' # base64で渡す場合 これで、共

MacやLinux、UNIXライクなOSなら大体入ってるcutコマンド。自分の周りだとawkに慣れてくるとあまり使わなくなることが多い印象なのだけど、地味にawkだと記述が辛い処理でも簡単に処理できることもある。 今回は、そんなcutコマンドについて覚えておくと便利な使い方についてまとめてみることとする。 なお、対象はGNU版とする。MacやBSD等ではバンドルされてないので注意。 1. 基本的な使い方 cutコマンドでは、以下のように実行することでタブ区切りのデータから指定列を抽出することができる。 例をみてわかるように、範囲指定や指定列まで、指定列以降といった指定が簡単に行えるようになっている。 cut -f 抜き出すフィールドの番号 blacknon@BS-PUB-UBUNTU-01:~$ echo {a..e}{01..05} | xargs -n5 | tr ' ' '\t' a

よく、時間のかかる複数の処理をパラレルで実行し、かつ後からタスクの追加もさせたい、コマンドをキューのようなものに入れておいて処理させたいということがある。 ただ単に実行するコマンドをシェルスクリプトにしただけではこれはできないので、なにかいい感じのものはないかなーと探してみたところ、『Task Spooler』なるツールがそのものズバリな機能を持っているようだ。 というわけで、早速試してみることにする。なお、OSはUbuntu Server 16.04 LTSを用いている。 1. インストール Ubuntuであれば、aptでインストールができる(CentOS等の場合、ソースを取ってきてのコンパイルが必要になる)。 sudo apt install task-spooler インストールできたら、tspを起動させよう。 tsp 2. 使ってみる インストールができたら、実際に利用してみよう。

コンソール上でスペース区切りになっている各文字列をシングルクォーテーション・ダブルクォーテーションで囲みたいことがあったので、その対応について備忘。 以下のようにコマンドを実行することで、スペース区切りの各単語を囲むことができる。 sedの場合 sedで各単語を囲む場合、以下のようにコマンドを実行する。 sed 's/[^ ]\+/"&"/g' # ダブルクォーテーションの場合 sed 's/[^ ]\+/'\''&'\''/g' # シングルクォーテーションの場合 blacknon@BS-PUB-UBUNTU-01:~$ echo abc def 123 ABC | sed 's/[^ ]\+/"&"/g' "abc" "def" "123" "ABC" blacknon@BS-PUB-UBUNTU-01:~$ echo abc def 123 ABC | sed 's/[^ ]\+/'

前回、torをUbuntu/CentOSへインストールし利用できるようにしたので、今回はPythonからtor経由でのアクセスを行うようにする。 色々なやり方はあるようなので、2つほど試してみる。 1. requesocksを使う場合 requestsのforkでsocksを使うことができるパッケージがあるので、これで対応するのが楽そうだ。 事前にpipでインストールをしておく。 sudo pip install -U requests[socks] 後は、以下のように使用してtor経由でアクセスをすると良い。 #!/usr/bin/python # -*- coding: utf-8 -*- import requests get = requests.get('http://httpbin.org/ip', proxies=dict(http='socks5://127.0.0.1:9

awkをワンライナーで使っていると、処理の中でシングルクォーテーションを使いたいときが多々ある。 ただ、処理をシングルクォーテーションで囲っている場合、うまくエスケープするには工夫が必要だったりでちょっと面倒くさい。 ので、エスケープ以外にもうまいことシングルクォーテーションを利用する方法が無いかと思って調べてみた。 1. エスケープする エスケープをしてシングルクォーテーションを利用する場合は、以下の例のようにダブルクォーテーションで「'\''」としてエスケープしたシングルクォーテーションを囲ってやると利用できる。 awk '{print "'\''"}' blacknon@BS-PUB-UBUNTU-01:~$ echo -e "abc 123\ndef 456" | awk '{print $1"'\''"$2}' abc'123 def'456 2. ダブルクォーテーションで囲む

awkで2行目以降の行のみで処理を行わせる場合、NR(awkで何行目かを認識する変数)を用いて、以下のようにすればよい。 awk 'NR>1{処理内容}' blacknon@BS-PUB-UBUNTU-01:~$ cat /tmp/test.csv id,user,value 1,aaa,1223 2,bbb,3333 3,ccc,855 4,ddd,998 5,eee,24354 6,fff,345 7,ggg,325 8,hhh,22 9,iii,4657 10,jjj,896 blacknon@BS-PUB-UBUNTU-01:~$ awk -F, 'NR>1{print $2}' /tmp/test.csv aaa bbb ccc ddd eee fff ggg hhh iii jjj 1行目も出力させる場合は、ifと組み合わせてやればよい。 awk '{if (NR==1)pri

Graylogでは、Syslogのほかに「Graylog Collector Sidecar」というエージェントを使ってのログ収集方法がある。 この方式の場合、GELFというGraylogの独自フォーマットでのログ入力フォーマットを使えるため、Syslogに比べて詳細な情報を記録しておくことが可能になる。 今回は、この「Graylog Collector Sidecar」を用いてGELFでのログをGraylogに連携させる。このとき、エージェントからGraylogへのデータ転送にはFilebeat、Winlogbeat、NXLogが使えるのだが、今回はNXLogを利用する。手順については公式の手順が用意されているので、それを参考に行う。 なお、すでにGraylog Server側でGELFのインプットは作成済の状態とする(TCP)。 1.Graylog Collector Sidecarの

CentOSやUbuntuを使ってたサーバである程度運用を続けていると、updateの都度過去のkernelが溜まっていってしまい「/boot」配下の空き容量が無くなってしまう事がある。 そのまま放置して100%になるとyumやapt実行時にエラーになってしまうので、本来はちゃんと定期的に整理する必要があるのだけど、結構うっかりして放置してしまうことがある。で、今回はそんな/boot配下の不要なカーネル等の一括削除を行っていく。 1. CentOSの場合 CentOSの場合、yum-utilsパッケージのpackage-cleanupコマンドが入っているかどうかで対応が異なってくる。 package-cleanupコマンドがインストールされているようであれば、以下のコマンドで自動的に古いカーネル等を削除してくれる(countで残す世代数を定義している)。 sudo package-clea

絵文字について少し調べてたところ、(2018年時点だと機種は選ぶのだが)どうも麻雀牌やトランプの絵柄全種の絵文字が用意されているらしい。 Unicode 麻雀牌 - CyberLibrarian Unicode トランプ - CyberLibrarian つまり、ターミナル上で適切にコマンドを叩いてやれば、麻雀やポーカーの初手を得る事もできるということになる。 で、実際やってみることにした。 (よくよく見たら、seqで0入って無くて東が出力されてなかったので修正) まず、以下のコマンドで麻雀牌、トランプの札をゲームに必要な数だけ(トランプの場合はジョーカーは1種類で2枚)取ってくる。 ちょっと小さいけど、画像のようになる(Macだと一部の絵文字が表示できないかもしれない)。 echo $(seq -f 'printf $(printf \\\\\U1F0%%02x %g)' 0 33 |

インターネット上にサーバを公開していると、sshやhttpdへDDoS攻撃やディレクトリトラサーバル攻撃を公開しているページすべてに行うようになツールを投げられたり、乗っ取りしようとして来たりといろいろと攻撃されることが多い。 DDoSやらツールでの攻撃を受けると大量のパケットやリクエストが飛んできてサーバへの負荷が重く、サービスの継続にも支障が出たりする。 そんな時は、攻撃してきているグローバルIPからの接続をファイアウォールなどでしばらく拒否してやるといった対応が必要になる。 そういったことをするためのツールがこのfail2banだ。 結構有名なツールだし、LPIC(303かな?201と202でも出てくるかも…)でもよく出てくるので名前を聞いたことのある人も多いと思う。 各種ログを元に、定義されたフィルターに適合したアクセス元の接続を拒否するようiptables(firewalld)で

個人的に、数字を入力してリストから選択するとかがあまり好きではなく、コンソール上でもカーソルキーとかで選択したりしたいタイプなのだが、実はUbuntuやCentOSの場合ならインストール時にwhiptailというコマンドがバンドルされている。 これ、なんのコマンドなのかというとOSインストール時とかに表示される疑似GUIみたいなTUIを扱えるようにするコマンドで、まあ↓のようなやつ。多分一回は見たことあると思う。 で、このコマンドでは色々な種類のレイアウト(リストからの選択や入力など)をオプションで指定ができる。 ncursesとか使って別途プログラムを書くという方法もあるけど、そこまでしたくない処理であれば、これを使ってお手軽TUIなスクリプトを作ることが可能。 以下のようにオプション等を指定して実行する。ボックスオプションで指定する<height>は行、<width>は文字単位で指定す

Blog 201607 WindowsのBatch(cmd)/PowerShellで0バイトのファイル(空ファイル)や空のディレクトリを一括削除する WindowsでBatchやPowerShellを用いて、Linuxと同じように空ファイルや空ディレクトリを抽出、それらを一括削除する方法があるかを調べてみた。 1.空ファイルの削除 カレントディレクトリ配下の空ファイルを一括削除する場合、以下のようにする。 (PowerShellの方は再帰的に削除させている) Batch(cmd)の場合 for %F in (*) do if %~zF equ 0 del "%F" PowerShellの場合 get-childItem -recurse | where {$_.length -eq 0} | remove-Item 2.空ディレクトリの削除 カレントディレクトリ配下の空ディレクトリを一括削

Blog 201711 ELB(ALB)の後ろにいるApache(2.4)で、IPアドレスによるアクセス制限とグローバルIPのログへの記録を行う Apache 2.4でグローバルIPアドレスを用いたアクセス制御を行う場合、以下のようにRequireディレクティブでアクセス元のグローバルIPアドレスを指定する。 <Directory /var/www/html/test> Require ip 8.8.8.8 </Directory> で、この時にAWSのELB(ALB)の後ろにいる場合だと、Apache側で認識するアクセス元IPアドレスはELBのローカルネットワークアドレスになってしまう。 Require ipでグローバルIPアドレスを認識する場合は、以下の一行をhttpd.confに追記してやり送信元IPアドレスにX-Forwarded-Forのものを利用する。 RemoteIPHead