sort -u と sort | uniq は同じじゃないよ ～ 文字の順番とロケールとPOSIXと現実の実装のめんどくさい話 - Qiita

sort -u と sort | uniq は同じじゃないよ ～ 文字の順番とロケールとPOSIXと現実の実装のめんどくさい話ShellScriptBashLinuxUNIXPOSIX はじめに sort コマンドの -u オプションは重複行を取り除くオプションです。-u は 1979 年の Vesion 7 Unix のときからある古いオプションで、シェルスクリプトに詳しいと自負している人でこのオプションを知らなければモグリでしょう。uniq コマンドは重複行を取り除くコマンドです。「現在のすべての問題が解決された場合」は sort -u と sort | uniq はほぼ同じになるのですが、実際には異なる結果を返すことがあります。この記事ではその問題について解説します。 前提知識: sort-u と uniq の正しい理解 この記事の話とは少し異なりますが前提知識として sort コマ

[yarumato]

“sortしたとき文字順序が違う。日本語locale（多くの環境で A B a b、FreeBSDでは a A b B）と英語（Ubuntu22.04は a A b B、macOSは A B a b）　安全にソートして重複を省くには LC_ALL=C。日本語を含む処理にはSQLite等の新規コマンド使え”