给MySQL数据库表瘦身
背景:MySQL数据库有一张几千万的数据表要做瘦身,需要删除指定日期前的数据。其中自增主键id和创建时间create_time都有索引。
解法:
解法1:delete from xxx where id < xxx 或者 create_time < xxx。这种方式简单粗暴,进行删除操作时会锁表,从而影响其他的正常SQL,大数据量时不可行;
解法2:从解法1得到启示,既然SQL一次性删除大批量数据会导致锁表时间长,那我每次都删除小批量的数据,进行多次删除就行。而id又是自增的可以保证连续性。实际测试中2kw+的表,每次删除10w条记录耗时30+s;每次删除1w记录耗时2s,完全可以接受;
解法3:新建一张表把需要的数据导过去,然后把旧表直接删除。这种方法在新旧表切换过程中很难保证数据数据一致性,适用于离线数据或者更新、插入比较低频的场景。
其他:解法2也有弊端,当插入速度大于删除速度时,就达不到瘦身的目的了。当然如果插入速度大于5w/s时,最开始选择MySQL作为底层存储数据库就不是太明智的选择。