node如何爬取網頁中的圖片（附代碼）

來源：懂視網責編：小采時間：2020-11-27 19:32:11

node如何爬取網頁中的圖片（附代碼）

node如何爬取網頁中的圖片（附代碼）:本篇文章給大家帶來的內容是關于node如何爬取網頁中的圖片（附代碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助。目錄安裝node，并下載依賴搭建服務請求我們要爬取的頁面，返回json安裝node我們開始安裝node，可以去node官網下載h

推薦度：

點擊下載本文 文檔為doc格式

導讀node如何爬取網頁中的圖片（附代碼）:本篇文章給大家帶來的內容是關于node如何爬取網頁中的圖片（附代碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助。目錄安裝node，并下載依賴搭建服務請求我們要爬取的頁面，返回json安裝node我們開始安裝node，可以去node官網下載h

本篇文章給大家帶來的內容是關于node如何爬取網頁中的圖片（附代碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助。

const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
 var host = server.address().address
 var port = server.address().port
 console.log("應用實例，訪問地址為 http://%s:%s", host, port)

})

運行node demo.js簡單的服務就搭起來了，如圖：

請求我們要爬取的頁面

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用來發起請求的，是一個輕量的,漸進式的ajax api,可讀性好,學習曲線低,內部依賴nodejs原生的請求api,適用于nodejs環境下.，也可以使用http發起請求

superagent-charset防止爬取下來的數據亂碼，更改字符格式

cheerio為服務器特別定制的，快速、靈活、實施的jQuery核心實現.。安裝完依賴就可以引入了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');

引入之后就請求我們的地址，https://www.qqtn.com/tx/weixintx_1.html，如圖：

聲明地址變量：

const baseUrl = 'https://www.qqtn.com/'

這些設置完之后就是發請求了，接下來請看完整代碼demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //輸入任何網址都可以
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
 //設置請求頭
 res.header("Access-Control-Allow-Origin", "*");
 res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
 res.header("Access-Control-Allow-Headers", "X-Requested-With");
 res.header('Access-Control-Allow-Headers', 'Content-Type');
 //類型
 var type = req.query.type;
 //頁碼
 var page = req.query.page;
 type = type || 'weixin';
 page = page || '1';
 var route = `tx/${type}tx_${page}.html`
 //網頁頁面信息是gb2312，所以chaeset應該為.charset('gb2312')，一般網頁則為utf-8,可以直接使用.charset('utf-8')
 superagent.get(baseUrl + route)
 .charset('gb2312')
 .end(function(err, sres) {
 var items = [];
 if (err) {
 console.log('ERR: ' + err);
 res.json({ code: 400, msg: err, sets: items });
 return;
 }
 var $ = cheerio.load(sres.text);
 $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
 var $element = $(element);
 var $subElement = $element.find('img');
 var thumbImgSrc = $subElement.attr('src');
 items.push({
 title: $(element).attr('title'),
 href: $element.attr('href'),
 thumbSrc: thumbImgSrc
 });
 });
 res.json({ code: 200, msg: "", data: items });
 });
});
var server = app.listen(8081, function() {

 var host = server.address().address
 var port = server.address().port

 console.log("應用實例，訪問地址為 http://%s:%s", host, port)

})

運行demo.js就會返回我們拿到的數據，如圖：