JoJo撒哇滴卡
从几百条数据里筛选出不重复的数据，有很多软件，不如微软的excel，或者MYSQL都可以。
Excel中从大数据中筛选出不同数据的方法如下：
如图
我们用到的是Excel的筛选工具。选择不是数据是重复的，将将不重复的数据提出来，框中所有数据，然后点击上方工具栏-高级筛选，然后弹出高级筛选项，将全部数据放在其他位置，同时勾选不重复的数据，接下来点击复制到的按钮，选择要放的数据位置，点击复制到一栏后返回高级筛选窗口，然后点击确定，返回到Excel你就看到了从这些数据中已经筛选把筛选的数据放在了指定的位置了。
MYsql中筛选不重复的数据
使用数据库语句查询，进入sql的表，查询字段名，接着查询from表名，设置where查询条件，输入代码除去重复内容。统计出a表中name不重复的所有记录，代码如下：
select b.* from table b where b.id in(select a.id from table a group by
a.name having count(a.id) <2
用其中distinct是去除重复内容的即可。
网上一只虫
经常涉及大批量数据处理、分析、筛选等工作，可以了解下通用Excel，表间取数公式能瞬间查询上百万条数据。
通用Excel
安装Oracle、MySQL或其它数据库软件，将数据导入数据库，使用数据库语句查询即可。
IT项目负责人张飞飞
百万级别还用不到大数据处理 直接用数据库或者Excel就行了
分享到:
