用函数式编程,编写第一个node.js的爬虫,目的是爬取笔趣看网站一部叫做元尊的小说
代码如下:
var fs = require("fs");
var cheerio = require("cheerio");
var charset = require("superagent-charset");
var request = charset(require("superagent"));
// 操作文件的函数
function file(data) {
fs.open("小说.txt", "a+", function(err, fd) {
if (err) { console.error(err)}
fs.writeFile(fd, data, function(err) {if (err) {return console.error(err);}});
fs.close(fd, function(err) {
if (err) {console.log(err)}
console.log("文件关闭成功");
});
});
}
// file()
// 获得title和href的函数
function getHref(url) {
request
.get(url)
.charset('gbk')
.set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36")
.then( function (res) {
var $ = cheerio.load(res.text)
$('.listmain dd').each(function(i, elem) {
var href = $(this).find('a').attr('href');
var title = $(this).find('a').text();
sleep_func(getContent, href, title);
});
});
}
function getContent(href, title) {
request
.get("http://www.biqukan.com/" + href)
.charset("gbk")
.set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36")
.then(function(res){
var $ = cheerio.load(res.text);
var content = $("#content").text();
file(title + "\n\n\n" +content + "\n\n\n");
});
}
function sleep_func(func, arg1, arg2) {
setTimeout(function () {
func(arg1, arg2);
}, 2000);
}
// getContent("/0_790/20831918.html");
getHref("http://www.biqukan.com/0_790/");
这篇爬虫的有些问题需要解决:
- I/O操作太频繁了,每写入一个章节就要进行一次对文件”小说.txt”的I/O操作
- 对于间隙时间的运用并不是十分的熟练
接下来要学习的内容:
- 细心学习superagent模块和cheerio模块
- 学习fs模块特别是文件句柄fd的作用域
- 着重学习node.js的异步编程,关键字async和await和模块async
- 学习let关键字和const关键字与var关键字,做到不能滥用var关键字