什么是数据去重？
数据去重（Deduplication），也称为重复数据删除，是一种用于识别并消除重复数据副本的技术。其主要目标是节省存储空间、提高传输效率，并优化系统性能。
常见应用场景
- 备份系统：避免在多次备份中重复保存相同文件。
- 数据库管理：清理冗余记录，确保数据一致性。
- 大数据处理：在日志分析、用户行为追踪等场景中去除重复事件。
- 云存储服务：通过内容哈希识别重复文件，仅保留一份物理副本。
常用去重方法
根据实现方式不同，数据去重可分为以下几类：
- 基于哈希的去重：对每条数据计算唯一哈希值（如 SHA-256），通过比较哈希判断是否重复。
- 基于排序的去重：先对数据排序，再遍历相邻项进行比对。
- 布隆过滤器（Bloom Filter）：一种空间高效的概率型数据结构，用于快速判断元素是否可能已存在。
- 数据库 DISTINCT 或 GROUP BY：在 SQL 查询中直接去除重复行。
简单示例（JavaScript）
以下是一个使用 JavaScript 实现数组去重的示例：
const data = [1, 2, 2, 3, 4, 4, 5];
const unique = [...new Set(data)];
console.log(unique); // [1, 2, 3, 4, 5]