生データファイル処理のための基本的なUnixコマンドラインツールまとめ - Qiita
データ分析業務において、データベースなどに登録されている場合は簡単に行えるようなデータの操作を、生データファイルに対して行いたい時がたびたび発生します。 今回は、そんな時に私がよく使っている、生データファイルを処理するための基本的なコマンドラインツールについて、その概要と簡単な使い方を紹介します。 cat ファイル内容を表示する ファイルの内容を標準出力に表示するコマンドです。 $ cat sample1.csv 都道府県名,人口（人）,面積（平方km） 茨城県,2969770,6095.72 栃木県,2007683,6408.28 群馬県,2008068,6362.33 埼玉県,7194556,3798.13 千葉県,6216289,5156.7 東京都,13159388,2187.5 神奈川県,9048331,2415.86 head ファイルの先頭数行を表示する ファイルを先頭から指
データの集計ではsort | uniq -c をシェル芸で良く使うけど大量データには向かないのでawkでもっと高速な処理を書く - Qiita
データの集計ではsort | uniq -c をシェル芸で良く使うけど大量データには向かないのでawkでもっと高速な処理を書くShellScriptAWK sort | uniq -c という操作は、データの集合から件数を数えるのによく使いますね。 uniq はデータから重複データを取り除いたり、重複したデータだけを取り出したり、あるいは件数を数える、という処理ができるコマンドですが、実行時の前提条件として予めソートされたデータが必要です。だから先に sort しています。 しかしデータの母集団が大きいと sort の処理時間がボトルネックとなって、数分単位のオーダーで処理待ちが起きることがあります。そのような場合に sort | uniq -c とは違う方法で集計を行えば、処理速度を大幅に改善できる可能性があります。 例：1から1000までのランダムな値の集合1億件について、値ごとの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Removing duplicate rows in vi?
