使用spark进行wordcount后可以通过Linux自带的wc命令进行验证
比如 spark命令是求出某个文档中spark的数量 使用wc验证 grep spark README.md | wc 求出README.md中spark的数量
下面介绍一下用到的grep 和 wc命令
grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)
[root@xxx ~]# grep [-acinv] [--color=auto] '搜寻字符串' filename 选项与参数： -a ：将 binary 文件以 text 文件的方式搜寻数据 -c ：计算找到 '搜寻字符串' 的次数 -i ：忽略大小写的不同，所以大小写视为相同 -n ：顺便输出行号 -v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！ --color=auto ：可以将找到的关键词部分加上颜色的显示喔
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数（-c）、字数（-w）、行数（-l），并将统计结果显示输出。
默认分别输出 文件的行数、单词数、字节数