/*

对以下数据进行去重【detail_new_urls.csv 文件中内容】
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01155
http://www.cnvd.org.cn/flaw/show/CNVD-2017-01206
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01281
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01164
   //<- 这块有个换行空格

*/


# 读取源文件
$str = file_get_contents('./detail_new_urls.csv');

# 去除换行空格
$str = rtrim($str,"\r\n");

# 按 \r\n 分割为数组
$a = explode("\r\n", $str);

# 去重后重排序
$b = array_merge(array_unique($a));

# 按 \r\n 结尾组装成字符串
$b = implode("\r\n",$b);

# 写入到文件中
file_put_contents('./detail_filter_urls.csv', $b);