MySQLでテーブルの全件をちょっとずつ持ってきて処理したいときに注意すること - pullphone's blog

「全部で100万件とか1000万件とかあるような、でっかいテーブル内のデータを全部持ってきて特定の処理を加えた後にどっかに入れる」というような処理をしたいときに注意すること。 通常はLIMITを使ってオフセット/リミットで絞ってちょっとずつやる、みたいなことをやると思いますが*1、これ実はBETWEENしてやるほうがずっと速いです。 -- こっちよりも SELECT id,name,data FROM table_name ORDER BY id ASC LIMIT 100000,1000 SELECT id,name,data FROM table_name ORDER BY id ASC LIMIT 101000,1000 SELECT id,name,data FROM table_name ORDER BY id ASC LIMIT 102000,1000 SELECT id,na

[peketamin]

“通常はLIMITを使ってオフセット/リミットで絞ってちょっとずつやる、みたいなことをやると思いますが*1、これ実はBETWEENしてやるほうがずっと速いです。”