SqlBulkCopyの使い方 ～Linqによる遅延評価とIDataReaderによるメモリの節約～ - 新米エンジニアの失敗再発防止メモ

以前投稿したこちらの記事では、SqlBulkCopyを使用することによって、数十万件のデータを短時間で一括insertする方法を紹介した。 maitakeramen.hatenablog.com しかし、例えば数十万行とある郵便番号のデータなどをinsertしようとした場合、 約100MBほどのメモリを占有することになった。（計測した。） これは一度に大量のデータをメモリに格納する必要があるためだ。 これを回避するための方法を紹介する。 今回、例としてやってみる流れ テキストファイルを読み込むための列挙子オブジェクト(Enumerable型オブジェクト)を取得 Enumerable型は、一度に全てのデータを読み込まず、１行ずつ反復処理することをサポートする。 ↓ 当記事では前準備として、EnumerableクラスをIDataReaderを使える拡張メソッドを実装する。 この拡張メソッドの返