1. 场景与目标
在数据分析和清洗过程中，Pandas保留指定列重复行的实用技巧与案例解析成为很多场景的核心需求。了解何谓“指定列重复”以及为何需要把这类重复行保留下来，是高效数据处理的第一步。指定列重复通常指在一个或多个字段的组合上出现重复的记录，这些重复并不一定要删除，而是需要被明确标记、过滤或聚合统计。本文将围绕这一点展开，帮助你在实际项目中更灵活地处理重复信息。
另一层含义是：在数据流水线中，保留重复行往往是为了保持溯源能力、分析全量特征分布，或在后续的合并、聚合步骤中避免信息丢失。通过明确定义的子集列和合理的保留策略，可以在不破坏数据一致性的前提下，获得更可靠的分析结果。
2. 基本工具与用法
2.1 使用 subset 查找重复
Pandas 提供了 duplicated 与 drop_duplicates 等函数来处理重复项，其中的 subset 参数用于指定哪些列用于判断重复。通过设置 subset，你可以仅基于特定列来判断重复，而不考虑其他列的值。
在实际应用中，首先要明确需要“保留哪些重复记录”，然后结合布尔掩码进行筛选。下面的示例展示了如何仅基于列 A 与 B 来识别重复行，并将重复的完整行筛选出来，便于后续分析或导出。保留重复的完整行有助于追踪重复的源头与上下文。
import pandas as pd# 示例数据
df = pd.DataFrame({'A': [1, 1, 2, 2, 3, 3],'B': ['x', 'x', 'y', 'y', 'z', 'z'],'C': [10, 11, 12, 13, 14, 15]
})# 仅基于列 A, B 判断重复，保留所有重复行（包括第一个出现的）
mask_dup = df.duplicated(subset=['A', 'B'], keep=False)
df_dup = df[mask_dup]
print(df_dup)
2.2 保留重复行的三种策略
当目标是“保留重复行”时，通常有多种策略可以选择。第一种是直接利用 duplicated 的布尔掩码来筛选出所有重复行；第二种则通过分组后过滤来保留所有属于重复组的行；第三种可以结合聚合统计来明确哪些键值对出现超过一次，从而保留对应的整行数据。
下面给出三种常用策略的示例，帮助你在不同场景中灵活切换。每种策略都强调了保留重复行的核心逻辑，以便在后续分析中保持可追溯性与数据完整性。
# 策略1：直接筛选重复行（保留所有重复项）
mask = df.duplicated(subset=['A'], keep=False)
df_dup_all = df[mask]# 策略2：分组后筛选出包含重复的分组，再保留分组中的所有行
df_dup_groups = df.groupby(['A', 'B'], as_index=False).filter(lambda g: len(g) > 1)# 策略3：先统计每个键的出现次数，再筛选对应的完整行
dupe_keys = df.groupby(['A', 'B']).size()
dupe_keys = dupe_keys[dupe_keys > 1].index
df_key_dup = df.set_index(['A', 'B']).loc[dupe_keys].reset_index()
3. 实战案例1：完整数据集中的重复行保留
3.1 示例数据与目标
在本案例中，目标是基于列组 A 与 B 来识别重复项，并将所有属于重复组的行完整保留，以便进行后续的统计分析或特征工程。你可能需要在清洗阶段保留这些信息，避免在合并或聚合时丢失上下文。完整保留的好处在于能够追溯每条重复记录的原始信息。
通过下面的步骤，我们将演示如何从原始数据中筛选出所有重复组，并保留对应的全量数据。步骤要点是：定义子集、使用分组过滤、以及将结果以可追踪的形式输出。
3.2 实现步骤与代码
首先创建一个包含重复键的示例数据集，并说明如何基于子集列保留重复记录。请注意，keep=False 会将所有重复出现的记录视为重复项，从而实现“保留重复”的目标。
import pandas as pddf = pd.DataFrame({'A': [1, 1, 2, 2, 3, 3, 3],'B': ['x', 'x', 'y', 'y', 'z', 'z', 'z'],'C': [10, 11, 12, 13, 14, 15, 16]
})# 策略：保留基于 A, B 的所有重复行
mask = df.duplicated(subset=['A', 'B'], keep=False)
df_result = df[mask]
print(df_result)
输出结果将显示所有属于重复键的完整行，并且你可以将其用于后续分析、可视化或导出。这一步是保持上下文信息的关键，尤其是在后续的特征统计或异常检测中。
4. 实战案例2：标记重复项并聚合信息
4.1 标记重复并导出唯一键统计
除了直接保留重复行，我们也可以通过标记的方式将重复信息嵌入到数据中，便于后续聚合或筛选。常用做法是将重复项打上布尔标记，并结合聚合函数生成重复键的统计分布。标记信息有助于透明地表示哪些行属于重复集合。
以下示例展示了如何用 duplicated 与 groupby 的组合来实现标记与统计的双重目标，并把重复组的键和值保留到新的结构中，以方便后续分析。统计分布可以帮助你快速定位潜在数据质量问题。
# 标记重复的键
df['is_dup'] = df.duplicated(subset=['A','B'], keep=False)# 统计每个重复组的大小
dup_counts = df.groupby(['A','B']).size().reset_index(name='count')
# 将统计结果合并回原数据
df_with_counts = df.merge(dup_counts, on=['A','B'], how='left')
print(df_with_counts)
4.2 按 subset 分组并保留重复信息的变体
在某些场景下，你可能需要保留重复组中的所有行，同时附带一个关于该组是否重复的指示字段。通过分组过滤再联合布尔标记，可以实现更灵活的分析需求。变体实现强调了将重复信息并入数据框架中，以便在分析管线中直接使用。
下面给出一个变体实现的示例，展示如何在分组后把重复组中的记录全部输出，同时保持一个显式的重复标记，方便后续的聚合计算或筛选步骤。
# 变体：在分组后保留重复组的完整行，并附上重复标记
df['is_dup'] = df.duplicated(subset=['A','B'], keep=False)
df_dup_all = df.groupby(['A','B'], as_index=False).filter(lambda g: len(g) > 1)
print(df_dup_all)
5. 性能与优化技巧
5.1 对大数据的内存友好策略
处理大规模数据时，直接将所有重复项筛选出来可能会带来较高的内存开销。按批次处理、使用 dtype 的低内存列、以及尽量避免创建临时大对象，是提升性能的关键。对于需要保留重复信息的场景，可以先对 subset 列进行分区或分块处理，再逐步拼接结果以降低峰值内存占用。
此外，尽量使用就地操作与简化的布尔掩码可以降低内存压力。对于只需要标记或统计重复的任务，先生成一个布尔列再据此筛选，通常比一次性生成完整的重复行子集更高效。
5.2 使用索引与数据类型优化查询速度
在包含大量重复数据的场景中，适当的索引与数据类型选择能够显著提升查询速度。将经常用于重复判断的列设为 分类类型（category） 或者适当的数值类型，可以减少对比运算的成本。同时，通过对键列建立索引，加速 groupby 与 join 操作，从而提升整体性能。
实务中，可以先对 subset 列做数据类型转换，然后再执行重复判断与分组过滤，以获得更稳定的性能表现。确保在运行前对数据进行静态分析，识别哪些列最常被用作重复识别的关键键。
