三步高效实现，确保数据不重复
第一步：在表设计阶段建立唯一性约束
唯一性约束是去重的第一道防线，在数据写入前就阻止重复记录的产生，能显著降低后续清理的成本与复杂度。
主键与唯一索引是实现唯一性的核心工具，合理设计复合键可以覆盖常见的重复场景，确保同一组字段只有一条有效记录。
-- 给常见的订单场景添加唯一性约束，阻止同一用户在同一天对同一商品产生重复记录
ALTER TABLE ordersADD CONSTRAINT uq_orders_user_itemUNIQUE (user_id, item_id, order_date);
设计要点：考虑NULL值、分区表及写入性能，避免在高并发场景下出现锁竞态导致的写入失败。
第二步：使用去重查询与临时表进行初步清理
先定位重复数据的范围与模式，清晰的重复定义有助于选择合适的去重策略，避免误删有用记录。
发现重复的方法可以通过聚合查询快速定位重复分组：
SELECT user_id, item_id, order_date, COUNT(*) AS cnt
FROM orders
GROUP BY user_id, item_id, order_date
HAVING COUNT(*) > 1;
删除重复记录的常用方式，以主键为依据保留一条，其余删除，确保数据结构的一致性。
-- 使用自连接删除重复行，保留 id 最小的一条
DELETE t1
FROM orders t1
JOIN orders t2ON t1.user_id = t2.user_idAND t1.item_id = t2.item_idAND t1.order_date = t2.order_dateAND t1.id > t2.id;
替代方案：创建临时表后替换原表，在数据量较大或需要一次性清理时尤为有用，能降低锁影响时间。
CREATE TABLE orders_tmp LIKE orders;
INSERT INTO orders_tmp
SELECT *
FROM orders
GROUP BY user_id, item_id, order_date; -- 保留一条记录
-- 确认无误后再进行替换
RENAME TABLE orders TO orders_old, orders_tmp TO orders;
DROP TABLE orders_old;
第三步：建立持续监控与自动化去重机制
持续监控是保证后续不再出现重复数据的关键，需要将去重工作纳入日常运维的自动化流程中。
通过事件调度与触发器组合实现自动化，确保新写入的数据在产生重复时能够及时纠正或阻断。
-- 使用事件每日自动清理重复数据（适合数据量较大且重复模式固定的场景）
CREATE EVENT ev_dedup_daily
ON SCHEDULE EVERY 1 DAY
DODELETE t1FROM orders t1JOIN orders t2ON t1.user_id = t2.user_idAND t1.item_id = t2.item_idAND t1.order_date = t2.order_dateAND t1.id > t2.id;
插入阶段的去重策略，在应用层或数据库层结合唯一索引与改写语法，能有效防止新数据引入重复记录。
-- 插入时遇到重复数据可选择忽略或更新
-- 方案A：忽略重复
INSERT IGNORE INTO orders (user_id, item_id, order_date, amount)
VALUES (123, 456, '2025-01-01', 10.0);-- 方案B：遇重复更新部分字段（保持记录最新）
INSERT INTO orders (user_id, item_id, order_date, amount)
VALUES (123, 456, '2025-01-01', 12.0)
ON DUPLICATE KEY UPDATE amount = VALUES(amount);
