Python 解决， mysql 表数据去重及导入失败方案设计

前几天遇到个新需求，需要不定时将数据导入 MySQL 数据库。既然是数据导入，就会牵扯到数据重复导入和数据导入失败问题。 1.在解决数据重复导入问题上 方案 1：使用原生 sql，利用临时表进行去重后，数据合入原表。首先临时表重复数据去重：使用 select distinct， 然后在合入原表时再使用 insert into tablename(col1, col2, col3...) select col1, col2, col3... from template_tablename where not exists(select col1, col2, col3 from tablename where tablename.col1 = col1 and tablename.col2=col2 and tablename.col3=col3) 进行二次去重，即可达到去重效果。 方案 2：使用 sqlalchmy 方式去重，查询判断表中不存在当前条数据即插入，多条数据，则需要考虑分批插入。 2.数据导入数据库失败： 方案 1：在导入前进行数据规则校验，并在导入后进行查询，如果存在，则跳过，不存在就记录并尝试重新导入。