非自定义对象
方式1,2利用Set 不允许重复的值进行去重--- TreeSet其实也是可以的 只是会重新排序
方式3
方式一,利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序,所以只能作为判断条件:
private static void removeDuplicate(List<String> list) {
HashSet<String> set = new HashSet<String>(list.size());
Set<String> stringSet=new HashSet<>(strings);
strings.clear();
strings.addAll(stringSet);
}
方式二,利用LinkedHashSet不能添加重复数据并能保证添加顺序的特性 :
private static void removeDuplicate(List<String> list) {
LinkedHashSet<String> set = new LinkedHashSet<String>(list);
list.clear();
list.addAll(set);
}
方式三,利用List的contains方法循环遍历: 这种效率低下
private static void removeDuplicate(List<String> list) {
List<String> result = new ArrayList<String>(list.size());
for (String str : list) {
if (!result.contains(str)) {
result.add(str);
}
}
list.clear();
list.addAll(result);
}
以上是对基本数据类型进行去重,还有的就不举例子
下面的是根据对象中的某个属性进行去重
1 通过TreeSet的比较器:缺点是不是数据原来的顺序2 List<User> userList=new ArrayList<>(); userList.add(new User(4l,"测")); userList.add(new User(1l,"试")); userList.add(new User(4l,"测")); Set<User> userSet = new TreeSet<User>(new Comparator<User>() { @Override public int compare(User a, User b) { // 字符串则按照asicc码升序排列 return a.getUserId().compareTo(b.getUserId()); } }); userSet.addAll(userList); userSet.forEach(e-> System.out.println(e.getName()+"========="));
2 酷炫的方法没明白
List<User> unique = userList.stream().collect(collectingAndThen(toCollection(() -> new TreeSet<>(comparingLong(User::getUserId))), ArrayList::new)); unique.forEach(e-> System.out.println(e.getName()+"========="));
3
public static <T> Predicate<T> distinctByKey(Function<? super T, Object> keyExtractor) {
Map<Object, Boolean> map = new ConcurrentHashMap<>();
return t -> map.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) == null;
}
// remove duplicate
persons.stream().filter(distinctByKey(p -> p.getId())).forEach(p -> System.out.println(p));
4 就是自己写算法去重这个就不举列子了,各有各的不同