なぜsortコマンドはuniq機能を含んでいるのか？（Unix哲学はどこ行った！？） - Qiita
Unix 哲学的に考えれば、行を並び替える sort コマンドと重複行を取り除く uniq コマンドは別のコマンドであるべきなように思えます。しかし sort コマンドには -u オプションとして uniq コマンドに相当する機能が組み込まれています。なぜそうなっている（そうなってしまった）のかを「ソフトウェア作法（さくほう）」を参照しながらこの記事で明らかにしたいと思います。 関連記事 Unix哲学「一つのことをうまくやる」は単機能のコマンドを作ることではない 「誰」がuniq機能をsortコマンドに組み込んだ！？ 熱烈的な Unix 哲学の信者は「どうせ Unix 哲学を理解しない GNU が便利だと思ってオプションを追加したのだろう」と考えるかもしれません。しかし uniq 機能が組み込まれたのは Version 7 Unix、つまり Unix の開発者が組み込んだのです。これは 1
Decoded: GNU coreutils – MaiZure's Projects
Helpful background for code reading The GNU coreutils has its foibles. Many of these utilities are approaching 30 years old and include revisions by many people over the years. Here are some things to keep in mind when reading the code: Tiny programs - These utilities are small, (mostly) single-source file programs designed to do one thing and do it well. They are not designed for long life or to
コンパイラが作ったバイナリをつなぎ合わせるプログラム 「lld」の作者が語る、リンカの仕組み
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。植山氏は、制作中のリンカである「mold」について発表しました。全2回。前半は、リンカの概要について話しました。 LLVMのリンカ「lld」オリジナルの作者 植山類氏：植山類です。今僕が作っているmoldというリンカについて発表します。 今回の発表の概要です。リンカが何かを知っている人はそんなにたくさんいないと思うので、まず説明します。次に、「mold」のポイントは速いことなのですが、速いと何がうれしいのかを説明します。そのあと、どれくらい速いのかを説明した上で、どう実現されているのか、概要を紹介します。詳細になると何時間あっても終わらないので、かなりハイレベルな話をします。 自己紹介のスライドを入れていませんが、僕はリンカを何度か作ったことがあって、LLVMのlld
sedで改行を含む複数行の文字列を置換
sedは読み込んだ行の行末にある改行を削除してパターンスペースと呼ばれるバッファに格納したうえでテキスト処理をし、最後にパターンスペースの内容に改行をつけて出力する。。 だから改行を含む文字列にマッチさせる指定が非常にややこしい。 sedで改行を含む複数行を指定して一気に置換をやろうと一晩なんやかんややってみたけど、朝になったからあきらめてまったくスマートじゃない別な方法で強引に終わらせた。 :loop N $!b loop s/\n//g 一度ファイル内の改行コードを全削除 そのあとに別スクリプトのsedで複数行じゃなくなったファイル内容を文字列指定で置換して、元通り改行コードを入れる置換する。 改行コードを入れる置換は \の後に実際の改行を入れるでok かなりダサい方法だけど一応出力したい結果は得られるから今はいいことにしておく。 sed と改行(1) 入力にない改行の出力入力にない改
diff3 - 3つのファイルを比較・マージする
第１引数のMYFILEはOLDFILEから作成されたファイルで、ファイルのマージを考える場合、OLDFILEとYOURFILEの差分を取り込むファイルとして指定します。 ただし、実際のファイル編集はedコマンド等を使用します。 第２引数のOLDFILEはMYFILEとYOURFILEが作成されたときの元になったファイルを指定します。 第３引数のYOURFILEはOLDFILEから作成されたもう一つのファイルを指定します。 diff3コマンドの例で使用するファイル diff3コマンドを使用する例として、C言語の３つの不完全なプログラムを使用します。１つはプログラムの仮組みの状態のもの、後の２つはその仮組みのプログラムから一部の機能を実装したものになります。以下の３つのプログラムを使用して、diff3コマンドを利用します。 base.c(第2引数のOLDFILEとして使用) base.cは、後
tail -F /path/to/access.log のようなストリームに対して何度でもgrepを試行錯誤できるツール filt を作った - Copy/Cut/Paste/Hatena
filtというツールを作りました github.com これはなに まずは以下のスクリーンキャストをご覧ください tail -F /path/to/access.log のようなログの流れを止めてはgrepをして、止めてはgrepのコマンドを変更してしています。 その間、実は裏では実際のストリームは止めていません。 つまり、ストリームのパイプ先に まずfiltを指定しておく ことで、ストリーム自体は止めずに、パイプ先のコマンドを 後で何度でも 変更できます。 grepやsedやawkが下手なので何度も試行したい 私はgrepやsedやawkなどのコマンドを一発で指定できるほど練度が高くないので、コマンドを組み立てるために何度も Ctrl+C でキャンセルしては再実行の繰り返しをしていました。 最近は stern や Harvest などでKubernetesのPodのログを流すことをもある
RE error: illegal byte sequence on Mac OS X
I'm trying to replace a string in a Makefile on Mac OS X for cross-compiling to iOS. The string has embedded double quotes. The command is: sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure And the error is: sed: RE error: illegal byte sequence I've tried escaping the double quotes, commas, dashes, and colons with no joy. For example: sed -i "" 's|\"iphoneos-cros
joinコマンドについて詳しくまとめました 【Linuxコマンド集】
joinコマンドの基本 コマンドの基本動作 使い方は、次のとおりだ。 $ join ファイル名１ ファイル名２ ファイルitemname.txtとitemcount.txtを結合する場合は、次のコマンドだ。 $ join itemname.txt itemcount.txt ファイルitemname.txtとitemcount.txtを結合した結果を表示した。 結果は比較する項目において、両方のファイルに存在するもののみを表示する。 また、比較する項目は数値である必要はないが、昇順に並んでいる必要がある。 ファイルitemcount-b.txtには、番号1と3の2行しかない。 このitemcount-b.txtとitemname.txtを次のコマンドで結合する。 $ join itemname.txt itemcount-b.txt ファイルitemname.txtとitemcount-b
AtCoderに登録したら解くべき精選過去問 10 問を bash で解いてみた - Qiita
はじめに 2015 年末に bash で始める競技プログラミング（?）という記事をネタ半分で書いたのですが、どういうわけか百花繚乱！なないろ言語で競技プログラミングをする資料まとめ（@drken）の中で入門資料に認定されてしまったので、ひとつ釣られたつもりになって AtCoder に登録したら次にやること ～ これだけ解けば十分闘える！過去問精選 10 問 ～にある問題をすべて bash で解きました。実際に解いてみると bash の良い点も悪い点もよくわかるセットだったので、私の解答をひととおり解説しようかと思います。 なお、この記事では、読者と対して以下のことを想定します。 とりあげる問題についてはすべて解法を知っている シェルスクリプトをある程度書くことができる よく使われるコマンド（grep とか sed とか）もわかっている bash の文法については適宜説明を入れますが、必要に
dcを使ってみる。 - ここにタイトルを入力|
個人的お気に入りツールの一つ。dc。 逆ポーランド記法(RPN)の計算機。 linuxなら大体さいしょっから入ってるツール。 パッケージで言うとbc*1。 プログラミング序論の課題でRPNの話が出たので、ついでだし使い方でもまとめて見ようと思う。 とりあえずRPNがなんだ、ってのは適当にググってくださいな。 あくまでdcの使い方。 計算する とりあえず、計算したいだけなら $ dc 1 # 1をpushする 2 # 2をpushする + # 2,1をpopして、和をpushする p # topを出力する(スタックはいじらない。) 3 q # 終了する(quit) $明示的に出力する様にしないと何も結果を返さないので注意。 負数の扱い マイナス("-")は演算子として定義されているのでそのまま入力はできないらしい。 -1 # -と1として解釈される。のでスタックが空だとエラーになる dc:
Bashスクリプトのチートシートと便利なスニペットまとめ - オープンソースこねこね
Bashでスクリプトを書く際によく自分が使っている小技や関数などです。 またBashでは他のプログラミング言語以上に$や:などの記号の使い方が独特でググラビリティが低いので、基本文法などもチートシートとしてまとめておきます。 基本文法 変数と配列 制御構文 while for-in if - elif - else if文のone-liner 文字列比較 文字列が等しい (=) 文字列が等しくない (!=) 空文字、文字列長が0 (-z) 空文字でない、文字列長が0でない (-n) 数値比較 数値が等しい (-eq) 数値が等しくない (-ne) 数値がより小さい (-lt) 数値がより大きい (-gt) ファイルの判定 存在する (-e) ファイルである (-f) ディレクトリである (-d) シンボリックリンクである (-L) 関数 便利なスニペット 実行スクリプトがあるディレクトリを
xargsでファイルの中身の行(スペースあり)を引数にする - NigoroJr
Articles Products Gallery FTP SKK About Contact Admin xargsでファイルの中身の行(スペースあり)を引数にする 標準出力を別のコマンドの引数にしたいときに便利なxargsですが、空白があるときには厄介なときがあります。備忘録を兼ねてまとめました。 シナリオ スペースを含む複数行を全部、別コマンドの引数にしたい。 input.txt の内容: foo bar baz bar hoge piyo piyo print.rb の内容: #!/usr/bin/env ruby puts 'Printing...' p ARGV 期待する出力: Printing... ["foo bar", "baz bar", "hoge piyo piyo"] Attempt 1 まぁこんなことは思いついた時点で頭の中でボツですが、一応。 Command
lessでzipファイルの中身が見えるわけ 〜LESSOPENとlesspipe.sh〜 - カタカタブログ
前回、zipファイルを展開せず中身を見るにはlessコマンドを使うのがよいという記事を書いたが、そもそもなぜlessでzipファイルの中が見れるのか調べてみた。 ※前回記事: Linuxでzipファイルの中身を展開せずに見るにはlessがおすすめ - カタカタブログ lessコマンドの仕組み どうやら、LESSOPENという環境変数にlesspipe.shというシェルスクリプトが定義されており、これがless実行対象のファイルに対して事前に処理が入る。 $ env | grep LESS LESSOPEN=||/usr/bin/lesspipe.sh %s つまり、targetというファイルに対してlessコマンドを打つ場合、 $ less target以下のような処理が内部で行われているようなイメージ。 $ lesspipe.sh target | lessそして、lesspipe.sh
とりあえずの答え合わせ － BASH Running in Ubuntu on Windowsについて
情報源: BASH Running in Ubuntu on Windows 現状わかってきたことをまとめてみ… 情報源: BASH Running in Ubuntu on Windowsについて 本日配布が始まったWindows 10 Insider Preview Build 14316よりLinux Subsystemが使用できるようになりました。とりあえず先週の想定が合っていたかの答え合わせをしたいと思います。今後の情報によりまた内容が変わる可能性は沢山ありますｗ BASH Running in Ubuntu on Windowsで出来ること。 GUIの無いLinuxアプリケーションの実行。 OK. ELF形式のバイナリファイルを直接実行できる。 OK. ELF形式のバイナリを開発できる。 OK, 開発環境のインストールが必要(apt-get install build-esse
sedがシンボリックリンクを破壊する話｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
sedがシンボリックリンクを破壊する話 こんにちは、mizuno_asです。 sedは便利ですよね。自動化する際や手順書を作る際、人間が対話的にやらなければならない操作をコマンドで自動化できるのはすばらしいです。 sedには入力元ファイルを上書きする-iオプションが存在します。みなさんも設定ファイルをコマンドラインから書き換えるような際に、よく使うのではないでしょうか。ところがsedの-iオプションはノーケアで使うと、シンボリックリンクを破壊することはご存知でしょうか？ Photo via Visualhunt 例として以下のように、テキストファイルにシンボリックリンクを張っておきます。 $ echo hoge > test.txt $ ln -s test.txt link $ ls -l 合計 4 lrwxrwxrwx 1 h-mizuno h-mizuno 8 1月 15 11:57
何もしない組み込みコマンド ":" （コロン）の使い道
Bash でシェルスクリプトを勉強していくと出会うのが : （コロン）という名前の組み込みコマンド。このコマンドは何もしないコマンドです。 こんなコマンドの存在は不思議だなと思う反面、C言語にも void という型があったり（関数のような形で存在するのは JavaScript とかですね）、LaTeX にも \relax があったり、何もしない命令というものは機械語の NOP からある普通のものです。 この Bash の : の使い道についてまとめてみました。 何か書かなければならないところに仮置きする 例えば「ここに制御構造を置くんだけど、この節に入るものは後で書くんだけどな〜」といった場合、制御構造の節の中に何も書かないと Bash は構文エラーとなります。
シェル芸力向上のため moreutils を一通り試してみた - Qiita
$ rpm -qi moreutils Name : moreutils Version : 0.49 Release : 2.el7 Architecture: x86_64 Install Date: Fri 29 May 2015 06:34:50 PM JST Group : Applications/System Size : 155340 License : GPLv2 Signature : RSA/SHA256, Tue 04 Mar 2014 12:35:02 PM JST, Key ID 6a2faea2352c64e5 Source RPM : moreutils-0.49-2.el7.src.rpm Build Date : Wed 26 Feb 2014 07:58:44 PM JST Build Host : buildvm-21.phx2.fedoraproj
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sortコマンド、基本と応用とワナ - Qiita
AIX の古いバージョン
ed