Node.js で stream を使って gzip ファイル全体をメモリに乗せずに先頭一行だけを取得する - Qiita

この記事は Node.js アドベントカレンダー 2019 の 23 日目です。 はじめに gzip ファイルなどの圧縮されたファイルを読み込む際、たとえば csv など圧縮率の高いファイル形式かつ大きなファイルの場合、全てをメモリに乗せ切れないことが稀にあります。 そもそも csv のカラムだけ欲しいなどの場合にデータ全体を取得するのは時間もかかるし無駄です。 そこで、 Node.js は stream を扱いやすい言語なので、これを使って簡単に解決できるため紹介します。 なお、 S3 からのデータ取得であっても createReadStream() すれば stream.Readable 型になるため、同様の手法が可能です。そもそも、この話自体がローカルよりはクラウド絡みの方が多いケースになると思いますが……。 おさらい: Node.js での stream でのファイル読み書き 例え

[Shisama]

「Stream を制するものは、 Node.js を制す」（※言いたかっただけです）。streamはNode.js内でも使われている重要なモジュールです。今回の記事のように大きなファイルを取り扱うときなどは逐次処理ができるので便利です。