タグ

ブックマーク / qiita.com/kaneko_t (1)

  • Node.jsで巨大なXMLファイルを扱う - Qiita

    はじめに ファイルサイズが数十GB程度あり、ファイルから読み込んだデータを全てメモリ上に展開するには大分無理のあるXMLファイルを扱う機会がありました。そんな時に便利なライブラリnode-xml-streamを見つけたので使い方をご紹介していきます。 今回、Node.jsのバージョンは18.12.0、node-xml-streamのバージョンは1.0.2を使用しています。 node-xml-streamとは XML/HTMLファイルを軽量かつ高速に処理するパーサーライブラリです。Node.jsの標準APIであるStreamを使用して作られています。 通常のファイル読み込みではデータを一気にメモリ上に展開してから後続の処理に進むのに対し、Streamを使用したファイル読み込みではchunkと呼ばれる単位でファイルを読み込みながら順次処理することができるため、物理メモリサイズを超えたファイルの

    Node.jsで巨大なXMLファイルを扱う - Qiita
  • 1