.shtml网站解析UnicodeError

SHTML和HTML的区别
如果用一句话来解释就是:SHTML 不是HTML,而是一种服务器 API。
shtml是服务器动态产成的html.
虽然两者都是超文本格式,但shtml是一种用于SSI技术的文件。 也就是Server Side Include–SSI 服务器端包含指令。 如果Web Server有SSI功能的话(大多数(尤其是基于Unix平台)的WEB服务器如Netscape Enterprise Server等均支持SSI命令)。

html或htm与shtml或shtm的关系是什么
html或者htm是一种静态的页面格式,也就是说不需要服务器解析其中的脚本,或者说里面没有服务器端执行的脚本,而shtml或者shtm由于它基于SSI技术,当有服务器端可执行脚本时被当作一种动态编程语言来看待,就如asp、jsp或者php一样。当shtml或者shtm中不包含服务器端可执行脚本时其作用和html或者htm是一样的。

问题描述:
http://www.chinanews.com/entertainment.shtml
例如CN新闻网,charset= utf-8 ,但是解析会异常,requests 和 urllib 解析后都是乱码。

解决方法:

1。使用selenium 来进行页面获取

2。使用scrapy 来进行页面获取。

发布了187 篇原创文章 · 获赞 1055 · 访问量 35万+

猜你喜欢

转载自blog.csdn.net/weixin_43582101/article/details/95074754
今日推荐