はてなブックマーク

TwitterとGistに投稿したが、せっかくなので忘れないうちにブログ記事にしておく。おとといに「符号化処理芸人衆」というタイトルで記事を書いたが、その中で@grethrenさんよりbannerコマンドについて教えてもらった。そういえばそんなコマンドあったね。 ちなみに、あのyesのやつですが、作り方があります。文字を地道に探したのではなく、作成も #シェル芸 でやりました。 bannerコマンドというのがあってですね。。 > @papiron pic.twitter.com/sWFpUBLVUm— ぐれさん (@grethlen) September 22, 2016 BSDのbannerコマンド ところでこのbannerコマンド、MacやFreeBSDなどのBSDなシステムに付属してるものは、なかなかカッチョエエのを出力してくれる。しかし文字が右に90度回転してて、縦に流れる。こんな

ファイルの更新時刻順に並べ替えたいことは結構あると思うのだが、フォルダを下って再帰的に行う場合はどうすればいいのだろうか？ まあWindowsのExplorerやMacのFinderだと、フォルダを全て開いて変更日の列をクリックとかすればいいかも。ただファイルの数が多いとフォルダを開くのは大変かも？ではFreeBSDやLinuxのCUIなシェルの場合はどうするか？ lsコマンドには-tオプションがあり、ファイルの更新時刻の新しい順で並べ替えてくれる。だが、ディレクトリを再帰的に下る-Rオプションと併用しても、同じディレクトリ内しか並べ替えてくれない。 findコマンドはディレクトリを再帰的に下っていくことができるが、ファイルの更新時刻順に並べ替える機能がない？（あったら教えていただけるとありがたや・・・） んむむ、lsもfindも片手落ちじゃないか・・・ということでどうすればいいか？ お題

先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。 ではどんなところに気をつけるといいのか？下記の2点に注目して試してみることにした。 マルチコアの恩恵を受ける 一つのコマンドで頑張るより、パイプで刻んで複数のコマンドで処理した方が早くなる場合がある。何でもかんでも早くなるわけでは無い。パイプの流れが途中で止まら無いことが重要。 例えばsort処理は一度データを全てメモリに取り込む必要があるため、流れを止めてしまう。またパイプの最初で処理速度が遅いと、後ろのコマンドが手持ち無沙汰で遊んでしまうので遅くなる。 高速なコマンドで先にデータを絞り込む パイプの流れを途中で止めないためには、先に高速に処理できるコマンドを持ってくる。ここでは高速処理出

テキストファイルを閲覧するためによく使うのがlessコマンド。特に巨大なファイルを開く時などは必須だろう。巨大なファイルをVimやEmacs、その他のテキストエディタで開くと死ぬるで・・・ また、コマンドの出力結果をパイプでlessに渡し、出力結果をジックリ確認したりするのに重宝する。普段何気なく使っていらっしゃる方々が多いと思うが、改めて使い方の確認をしてみると、何かしらの発見があるかもしれない。 起動時オプション 各オプションは短いのと長いのがセットになっている。設定とかにはわかりやすい長いの、起動時の指定や機能の切替には短いの、と使いわけよう。-Xは案外知られていないかも。終了時にショボーンとなるのを防げるのでオススメ。 オプション 機能 -X or --no-init 終了時に画面をクリアしない。目的の場所を見つけてless終了して、画面がクリアされてショボーン・・となるのを防ぐ。

シェル芸家元から放たれたシェル芸本第2弾。相変わらずの切れ味で荒ぶる漢のUNIX道が展開されている。 シェルプログラミング実用テクニック | 上田ブログ この本の5章は、大きなデータを処理するというテーマ。その中でシェルのバックグラウンド処理機能を使い、並列処理で高速化を図る記載がある。ボトルネックになる高負荷なプロセスがある場合は、並列処理させる方が高速化出来るということ。 また、ファイルがキャッシュにのった場合は、複数のプロセスから同時に読み込みが出来る。ということで、ちょっとgrepを使った並列処理のネタを思いついた。テスト環境はいつものようにMac + Homebrewでインストールした最新GNU grep (ggrep)。 扱うデータは、シェル芸界隈で使われる下記のような1億行4GBのテキストデータ。値の意味は特に無くてランダムなデータのようだ。 $ ls -l TESTDATA

シェル芸と言えば、一糸乱れぬ一筋のストリームが流れる事に心奪われ、あな美しかなと心躍らせることこそ醍醐味。だがしかし人間たるもの、完璧なものこそ壊したがる・・・ ということで、上田節が卍解！ なのをよそに、シェルのパイプラインに横槍を入れざるを得ない心境になったため、現状理解していることをまとめてみたよ。大きく4パターン也。 1. 文字列やファイルの乱入 1.1. 文字列乱入 シェルの ( ) おまとめ記法とcatの組み合わせで、文字列を混ぜ込むことが出来るのだよ。 $ seq 2 | (echo 'Header'; cat; echo 'Footer') Header 1 2 Footer bcコマンドで2進数表示させたい時などに使っている。 $ seq 5 | (echo 'obase=2'; cat) | bc 1 10 11 100 101 1.2. ファイル乱入 catでファイル