データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

[papiro]

テキスト処理系のデータ操作コマンド

[okbm]

奥が深い…。シェル

[hirose31]

random shuf sort

[s-feng]

ソート、集計、ランダムサンプリングなどを爆速でやる方法。

[kenta1984]

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話

[takkunn1611]

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

[tzccinct]

列の入れ替えはawk 。

[tanakaBox]

look

[rishida]

Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング

[gologo13]

look

[dshim]

知らないコマンドや処理の特性とかが分かって勉強になりました。

[rsa14631]

便利

[usj12262]

shuf,join,paste

[te2u]

look, shufは知らなかった。

[BigFatCat]

join paste look

[yusk_y]

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

[ngsw]

試す

[monochrome_K2]

LANGよりLC_ALLの方が優先度が高いのか。lookは試してみないとなんとも

[makoto15]

[]

[kitaj]

lookとshuf知らんかった

[jt_noSke]

なるほど

[MATSU]

まとまってていい感じ。次はこれかな。

[richard_raw]

lookコマンド。/LC_ALL=Cで高速化。/shufコマンドでランダムサンプリング。/pasteはよく使ってます。/grepの替わりにack or agを使えという話では無かった。

[sucrose]

前に大きすぎるファイルをshufコマンドに与えたら、全部メモリに読み込んでいるのか、すごい勢いでメモリを使い始めたのを思い出した

[yto]

UNIX系データ処理コマンドのまとめ。

[gikazigo]

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

[kimutansk]

便利なので覚えておきましょう。

[echodek999]

TKGHatebuReaderより