脚本宝典收集整理的这篇文章主要介绍了Node.js学习之路22——利用cheerio制作简单的网页爬虫,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
利用cheerio
制作简单的网页爬虫
1. 目标
- 完成对网站的标题信息获取
- 将获取到的信息输出在一个新文件
- 工具:
cheerio
,使用npm
下载npm install cheerio
-
cheerio
的API
使用方法和jQuery
的使用方法基本一致
- 如果熟练使用
jQuery
,那么cheerio
将会很快上手
2. 代码部分
介绍: 获取segment fault页面的列表标题,将获取到的标题列表编号,最终输出到pageTitle.txt
文件里
const https = require('https');
const fs = require('fs');
const cheerio = require('cheerio');
const url = 'https://segmentfault.com/';
https.get(url, (res) => {
let html = '';
res.on('data', (data) => {
html += data;
});
res.on('end', () => {
getPageTitle(html);
});
}).on('error', () => {
console.log('获取网页信息错误');
});
function getPageTitle(html) {
const $ = cheerio.load(html);
let chapters = $('.news__item-title');
let data = [];
let index = 0;
let fileName = 'pageTitle.txt';
for (let i = 0; i < chapters.length; i++) {
let chapterTitle = $(chapters[i]).find('a').text().trim();
index++;
data.push(`n${index}, ${chapterTitle}`);
}
fs.writeFile(fileName, data, 'utf8', (err) => {
if (err) {
console.log('fs文件系统创建新文件失败', err);
}
console.log(`已成功将获取到的标题放入新文件${fileName}文件中`)
})
}
以上是脚本宝典为你收集整理的Node.js学习之路22——利用cheerio制作简单的网页爬虫全部内容,希望文章能够帮你解决Node.js学习之路22——利用cheerio制作简单的网页爬虫所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。