TiDB Lightning使ったデータインポートを試した

はじめに きっかけは、TiDBユーザグループ ミートアップ #5に参加し、そこでTiDB Lightningの紹介があり、どんなものかと試してみたことです。「数百万行、数億行のデータをTiDBに投入したいけど、INSERT文をループで実行すると時間がかかりすぎる…」という課題を解決するこのツールに興味を持ちました。 TiDB Lightningは、CSVやParquetなどのデータソースを直接TiKV（TiDBのストレージ層）に書き込むことで、従来のLOAD DATAやINSERT文とは比較にならない速度でデータをインポートします。 この記事では、ローカルのTiDBクラスタに対して、TiDB Lightningを使ってCSVファイルをインポートする手順を、設定ファイルの書き方から、実際に筆者が遭遇した多くのエラーとその最終的な解決策までを含めて解説します。 TiDB Lightningの仕