なぜsortコマンドはuniq機能を含んでいるのか？（Unix哲学はどこ行った！？） - Qiita

Unix 哲学的に考えれば、行を並び替える sort コマンドと重複行を取り除く uniq コマンドは別のコマンドであるべきなように思えます。しかし sort コマンドには -u オプションとして uniq コマンドに相当する機能が組み込まれています。なぜそうなっている（そうなってしまった）のかを「ソフトウェア作法（さくほう）」を参照しながらこの記事で明らかにしたいと思います。 関連記事 Unix哲学「一つのことをうまくやる」は単機能のコマンドを作ることではない 「誰」がuniq機能をsortコマンドに組み込んだ！？ 熱烈的な Unix 哲学の信者は「どうせ Unix 哲学を理解しない GNU が便利だと思ってオプションを追加したのだろう」と考えるかもしれません。しかし uniq 機能が組み込まれたのは Version 7 Unix、つまり Unix の開発者が組み込んだのです。これは 1

[maketexlsr]

“熱烈的な Unix 哲学の信者は「どうせ Unix 哲学を理解しない GNU が便利だと思ってオプションを追加したのだろう」と考えるかもしれません” 初手から笑ったw

[megumin1]

sortに-uがあっても「効率のためでしょ」って潜在意識レベルで当たり前のことすぎて普通はスルーすると思いますが、こんな当たり前のことに長い記事を書ける情熱はすごいですね。

[dekaino]

効率のために哲学を妥協したという説は正しいと思う。でも当時重視された効率は処理速度よりもワークメモリ必要量だったと思う。重複行を事前に間引けば使うメモリ量は減るからね。プロセスサイズが64KB以下って時代

[taruhachi]

むしろ、uniqがsort済みのデータでない重複は検知できない、sortありきのコマンドであるという意味で潔すぎる。その意味ではjoinコマンドも。

[poliphilus]

ソートされたファイルから重複行を探すのは容易だが、ランダムな場合は比較のために全行バッファしなくちゃならない。ソートしながら重複行を削除する方が「効率」は良いだろうね。

[yamadadadada2]

疑問に思ったことをちゃんと一次ソースまで行って調べて言語化するのすごい。こういう習慣がある人は伸びるんだろうなあ。俺はない（だめじゃん

[ockeghem]

面白い記事だったが、「ソフトウェア作法」が懐かしすぎて後半は感慨にふけりながら読んでいました

[paradoxparanoic]

sortっていうよりuniqがソートされたデータを前提としてるから2つを分ける意味もあんま無いのかな

[sgo2]

メモリ操作は重いので、sortで一旦確保しuniqで解放とやるより、sort結果を作る(普通に考えたら出力バッファ(リスト)に順次挿入する)際に重複チェックする方が当然良い。なのでCPU効率ではなくメモリ効率比べるべきかと

[nt46]

人生に一回くらいはsortされてないデータの重複行を削除したくなることがあるかもしれん。

[mas-higa]

"理屈的に考えると sort + uniq は総 CPU 使用量は多いが実時間は短くなる" / ソフトウェア作法なつかしい / uniq 使ったことない人が意外と多い?

[tmatsuu]

本題とは違うが、記事で紹介されてるuniq -cはよく使うオプションだった。　... | sort | uniq -c | sort -rn とかよくやる。

[defiant]

この記事をおすすめしました

[ku__ra__ge]

『適切な理由があるなら機能を統合しろ！』　その教訓の果てが git checkout や git reset じゃねーか。

[leiqunni]

tarのzスイッチもね。

[BlueSkyDetector]

まあそうだよね、という内容だったけどこういう記事は嫌いじゃない。

[ys0000]

代表的な例を元に、色々な機能に対してこのような哲学を適用すべしという見解と受け取った。確かに機能を分けたい場合とそうでない場合がある。経験則よね。

[brightsoda]

“GNU” ぐにゅ

[hylom]

自分もいつもsort | uniqしてた

[yarumato]

“「ソフトウェア作法（さくほう）」(1976)　一つのプログラムに、ただ一つの機能を持たせるべき。？「少なくともはじめのうちは」と言っています。＝適切な理由があるなら機能を追加するのもあり”

[lHMaUyzK]

uniqの機能を理解してないブコメがちらほら

[nemoba]

よって、計算機と人間のメンタルモデルは乖離してるという根拠になり、いつか私達はAIと仲良くできない時が来る。違うｗ

[everybodyelse]

いつもsort | uniqしてたワイ涙目

[lyiase]

厳密に哲学を求めるなら、uniqに『ソート済みモード(隣り合った重複のみ削除する)』を搭載すれば良いと思うんだけど、これは技術的には納得するが直感に反するから却下されたんだろうね

[nilab]

なぜsortコマンドはuniq機能を含んでいるのか？（Unix哲学はどこ行った！？） #Linux - Qiita

[retire2k]

GNUが追加したんだろうな　と直感的に思いながら読んでしまいました。ごめんなさい。

[uunfo]

何度もループ回すのあほらしいじゃん

[UhoNiceGuy]

「ソフトウェアは一つのことをうまくやらせるのが基本だが、場合により複数機能を混ぜるのもあり」ということか

[Shinwiki]

逆に知らんかったよ。毎度ユニークとパイプで繋いでたわ…そんでnrしたらkb、mbな表記になっててやり直すまでワンセット。

[tettekete37564]

アルゴリズム的に処理内容が近くほんの僅かな追加で実現でき、使用しなくてもパフォーマンス低下はおきず、使用する場合は不要なループを減らし大きなパフォーマンス向上が望める。そしてニーズがある。十分な理由だ

[kogule]

BSD はもともと UNIX を便利に使うアドオンソフトウェア集で，OS 全体を配布するのようになったのは 3BSD から。だからそれ以前の BSD にはそもそも sort や uniq はないよ。／ちなみに 3BSD は edition 7 ベース。

[mole-studio]

先に哲学に準じた原理主義があり当然それに基づいているはずだと確信してやまない精神構造が気になる。逆だよね

[clairvy]

“「ソフトウェア作法」(Software Tools)を読め！”