要筛选重复项,可以使用以下方法:
1、使用Excel的“删除重复项”功能,选中数据区域,点击“数据”选项卡中的“删除重复项”,然后选择要根据哪些列来判断重复,最后点击“确定”。
2、使用Python的pandas库,首先需要安装pandas库,然后使用drop_duplicates()函数来删除重复项。
import pandas as pddata = {'A': [1, 2, 2, 3], 'B': [4, 5, 5, 6]}df = pd.DataFrame(data)df.drop_duplicates(inplace=True)3、使用SQL语句,在数据库中,可以使用select DISTINCT语句来筛选不重复的数据。
select DISTINCT column1, column2 FROM table_name;