什么是正文特征
网页主要由以下三部分组成:
- 正文文本
- 锚点文本(链接)
- 标签文本
网络正文通常在网页中占了大量的篇幅,大量的语句,且包含了标点符号。我们可以利用这些特征将正文快速的分块出来。
网页分块
浏览器呈现网页的时候,会把内容相似的网页放在一块。
我们可以关注描述布局结构的标签,比如table,tr,td,div等等。另外还可以关注b,title,hn这种说明主题信息的标签。
步骤大致如下:
- 对网页进行块识别
- 获取块开始和块结束的位置,获取块标签
- 然后划分子块,开始深度搜索依次标记
- 直到结束的位置
分块算法利用了HTML标签结构的特点。
预处理
计算前先去除不必要的标签,比如样式,脚本等,可以利用工具。
计算
field text_length; //非锚点文本字数
field linktext_length; //锚点文本字数
field punctuation_count; //非锚点文本标点符号数
field text_support; //正文文本字数特征的支持度
field punctuation_support; //非锚点文本标点符号数的支持度
field textarea_support; //块具有正文特征的支持度
text_support = text_length/linktext_length;
punctuation_support =
- 1 when punctuation_count>=6
- 0.5 when 3<=punctuation_count<=5
- 0 when punctuation_count<=2
textarea_support = text_support*punctuation_support;
处理
根据以上的计算结果,如果具有正文信息就把该块保留,如果没有就进行去除。信息块的精准定位(重复以上步骤),然后噪音修剪。