一、引言

HtmlAgilityPack是一个支持用XPath来解析HTML的类库，是一个开源的.NET类库，它的主页是
HtmlAgilityPack官网.，在这里可以下载到最新版的类库及API手册，此外还可以下载到一个用于调试的辅助工具。

1、XPath简明介绍

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
下面列出了最有用的路径表达式：
nodename:选取此节点的所有子节点。
/:从根节点选取。
//:从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
选取当前节点。
选取当前节点的父节点。
例如有下面一段XML:

<?xml version="1.0" encoding="utf-8"?> 
<Articles> 
	<Article> 
		<Title>深圳嘉华_架构师进阶之路_15AOP概述</title> 
		<Url>https://blog.csdn.net/huan13479195089/article/details/105131301</Url> 
		<CreateAt type="en">2019-04-07</price> 
	</Article> 
	<Article> 
		<Title lang="eng">深圳嘉华_架构师进阶之路_15AOP概述</title> 
		<Url>https://blog.csdn.net/huan13479195089/article/details/105131693</Url> 
		<CreateAt type="zh-cn">2019-04-07</price> 
	</Article> 
	<Article> 
		<Title>深圳嘉华_架构师进阶之路_15AOP概述</title> 
		<Url>https://blog.csdn.net/huan13479195089/article/details/105131693</Url> 
		<CreateAt type="zh-cn">2019-04-07</price> 
	</Article> 
	<Article> 
		<Title lang="eng">深圳嘉华_架构师进阶之路_15AOP概述</title> 
		<Url>https://blog.csdn.net/huan13479195089/article/details/105131693</Url> 
		<CreateAt type="zh-cn">2019-04-07</price> 
	</Article> 
</Articles> 

针对上面的XML文件，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

 /Articles/Article[1]：选取属于Articles子元素的第一个Article元素。 
 /Articles/Article[last()]：选取属于Articles子元素的最后一个Article元素。 
 /Articles/Article[last()-1]：选取属于Articles子元素的倒数第二个Article元素。 
 /Articles/Article[position()<3]：选取最前面的两个属于 bookstore 元素的子元素的Article元素。 
 //title[@lang]：选取所有拥有名为lang的属性的title元素。 
 //CreateAt[@type='zh-cn']：选取所有CreateAt元素，且这些元素拥有值为zh-cn的type属性。 
 /Articles/Article[Order>2]：选取Articles元素的所有Article元素，且其中的Order元素的值须大于2。 
 /Articles/Article[Order<3]/Title：选取Articles元素中的Article元素的所有Title元素，且其中的Order元素的值须小于3。
 

2、HtmlAgilityPack API简明介绍

在HtmlAgilityPack中常用到的类有HtmlDocument、HtmlNodeCollection、HtmlNode和HtmlWeb等。
其流程一般是先获取HTML，这个可以通过HtmlDocument的Load()或LoadHtml()来加载静态内容，或者也可以HtmlWeb的Get()或Load()方法来加载网络上的URL对应的HTML。
得到了HtmlDocument的实例之后，就可以用HtmlDocument的DocumentNode属性，这是整个HTML文档的根节点，它本身也是一个HtmlNode，然后就可以利用HtmlNode的SelectNodes()方法返回多个HtmlNode的集合对象HtmlNodeCollection，也可以利用HtmlNode的SelectSingleNode()方法返回单个HtmlNode。

2.1、HtmlAgilityPack实战

下面是一个解析CSDN博客的代码实例：

using System;  
using System.Collections.Generic;  
using System.Text;  
using HtmlAgilityPack;  
using System.Text.RegularExpressions;     
namespace CrawlPageApplication  
 {  
    
    public class CSDN_Parser  
    {  
        private const string CategoryListXPath = "//html[1]/body[1]/div[1]/div[1]/div[2]/div[1]/div[1]/dl[1]/dd[3]/div[1]/ul[1]/li";  
        private const string CategoryNameXPath = "//li[1]/a[2]";  
  
        /// <summary>  
        /// 分析博客首页  
        /// </summary>  
        /// <param name="url"></param>  
        /// <returns></returns>  
        public static List<Category> ParseIndexPage(string url)  
        {  
            Uri uriCategory=null;  
            List<Category> list = new List<Category>(40);  
              
            HtmlDocument document = new HtmlDocument();  
   			//注意，这里省略掉了使用本人其它类库中加载URL的类，而是直接加载本地的HTML文件  
            //string html = HttpWebUtility.ReadFromUrl(url, Encoding.UTF8);  
            //document.LoadHtml(html);  
            document.Load("CSDN_index.html", Encoding.UTF8);  
            HtmlNode rootNode = document.DocumentNode;  
            HtmlNodeCollection categoryNodeList = rootNode.SelectNodes(CategoryListXPath);  
            HtmlNode temp = null;  
            Category category = null;  
            foreach (HtmlNode categoryNode in categoryNodeList)  
            {  
                temp = HtmlNode.CreateNode(categoryNode.OuterHtml);  
                category = new Category();  
                category.Subject = temp.SelectSingleNode(CategoryNameXPath).InnerText;  
                Uri.TryCreate(UriBase, temp.SelectSingleNode(CategoryNameXPath).Attributes["href"].Value, out uriCategory);  
                category.IndexUrl = uriCategory.ToString();  
                category.PageUrlFormat=category.IndexUrl+"?PageNumber={0}";  
                list.Add(category);  
                Category.CategoryDetails.Add(category.IndexUrl, category);  
            }  
            return list;  
        }  
  
    }  
} 

总结：HtmlAgilityPack确实是一个功能强大、体积小的开源HTML解析类库，在本篇仅仅是介绍了其中几个类的用法。