什么是headless:
通俗的讲1.通过一行代码,启动一个chrome浏览器,打开某个网页
2.通过控制代码,让chrome浏览器做你任何想做的,包括抓取网页、截图、自定义测试等等,并把结果变成文件或者数据库数据保存
3.关闭浏览器
现在开始上代码(node运行环境)
const puppeteer = require('puppeteer');
(async() => {
const browser = await puppeteer.launch({
executablePath: 'D:/object/chrome-win/chrome.exe',(文件路径引进去)
headless: false
});
const page = await browser.newPage();
try {
//await page.emulate(iPhone);
await page.setViewport({
'width': 375,
'height': 667,
'deviceScaleFactor': 2,
'isMobile': true,
'hasTouch': true,
'isLandscape': false
});
await page.setUserAgent('Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X)
AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1');
var start = new Date().getTime();
var url = 'https://h5.m.taobao.com/app/paimai/www/detail/index.html?itemId=571893556840';
await page.goto(url);
const html = await page.content();
console.log(html);
await page.waitFor(10000);
}
finally {
await browser.close();
}
})();
在运行之前我们需要装一下puppeteer依赖。下载一个浏览器(可以百度一下)把文件的路径替换掉 然后就可以运行了 url就是你要爬取的页面路径
剩下的就是解析了html了(如何解析请看更新的下一篇文章)。