如何在 Node.js 中使用 axios 配置代理并实现图片并发下载_Node.js

一、创建 axios 实例

可以创建一个 axiosconfig.ts 文件用于创建和更新相关实例：

// server/utils/axiosconfig.ts
const axios = require("axios");
const { httpsproxyagent } = require('https-proxy-agent');
// axios 实例
let axiosinstance = null;
// 代理表单（可以从数据库读取相关配置）
let proxyparams = { 
    state: true, 
    host: "127.0.0.1", 
    port: 10809, 
    protocol: "http", 
    username: "", 
    password: ""
};
// 创建 axios 实例 
const createaxiosinstance = () =>  {
    // 判断是否开启代理
    const useproxy = proxyparams['state'] == true;
    let axiosconfig = {
        timeout: 5000
    };
    // 启用代理服务
    if (useproxy && proxyparams) {
        const agent = new httpsproxyagent({
            host: proxyparams.host,
            port: proxyparams.port,
            protocol: proxyparams.protocol,
        });
        axiosconfig['httpsagent'] = agent;
    }
    // 代理服务器 用户名、密码
    if (useproxy && proxyparams['username'] && proxyparams['password']) {
        axiosconfig['auth'] = {
            username: proxyparams['username'],
            password: proxyparams['password']
        };
    }
    axiosinstance = axios.create(axiosconfig);
}
// 获取 axios 实例
const getaxiosinstance = () => {
    if (!axiosinstance) {
        createaxiosinstance();
    }
    return axiosinstance;
}
// 更新 axios 实例
const updateaxiosinstance = () => {
    createaxiosinstance();
}
module.exports = {
    getaxiosinstance,
    updateaxiosinstance
};

代理相关配置可以以字符串的方式先存储在数据库中，再根据需要读取和修改以实现动态更新代理配置：

const { getsettingcache } = require("../db/settingmanager.ts");
const createaxiosinstance = () => {
    // 获取配置信息
    const settingcache = getsettingcache();
    // 判断是否开启代理
    const proxyparams = settingcache["proxy"] ? json.parse(settingcache["proxy"]) : null;
    // {
    //   proxy: '{"state":true,"host":"127.0.0.1","port":10809,"protocol":"http","username":"","password":""}',
    // }
}

二、图片并发下载

此处使用 p-limit 来控制并发数量：

yarn add p-limit

创建一个 downloadimages.ts 文件用来处理图片下载相关方法：

// server/utils/downloadimages.ts
const { getaxiosinstance } = require('../utils/axiosconfig.ts');
const path = require("path");
const fs = require("fs");
const downloadimagesbyurls = async (imageurls, savepath) => {
    // 为避免出现循环导入，此处使用动态导入
    const plimit = (await import('p-limit')).default;
    // 提取 url 中的文件名 例：xxx.jpg
    const filenames = imageurls.map((url) => path.basename(url));
    // 判断是否存在目标文件夹，不存在则创建
    if (!fs.existssync(savepath)) {
        fs.mkdirsync(savepath, { recursive: true });
    }
    // 下载单个图片的函数
    const downloadimage = async (url, filename) => {
        // 拼接文件路径
        const fullpath = path.join(savepath, filename);
        try {
            // 获取 axios 实例
            const axiosinstance = await getaxiosinstance();
            const response = await axiosinstance({
                method: "get",
                url: url,
                responsetype: "stream",
            });
            const writer = await fs.createwritestream(fullpath);
            // 用promise包装stream完成事件
            return new promise((resolve, reject) => {
                response.data.pipe(writer);
                writer.on("finish", () => resolve({ filename, success: true }));
                writer.on("error", (err) => reject({ filename, success: false, error: err.message }));
                response.data.on("error", (err) => reject({ filename, success: false, error: err.message }));
            });
        } catch (error) {
            return { filename, success: false, error: error.message };
        }
    };
    // 并发控制
    const limit = plimit(5);
    // 创建下载任务
    const tasks = imageurls.map((url, index) => 
        limit(() => downloadimage(url, filenames[index]))
    );
    // 执行下载任务并等待所有任务完成
    const results = await promise.all(tasks);
    return results;
};
module.exports = {
    downloadimagesbyurls,
};

代码说明： 该方法可直接复制使用，需要传递两个参数，imageurls 参数为需要下载的图片列表，是一个存储了图片下载链接的数组，例：['http://xxx','http://xxx']，第二个参数是 savepath ，即文件保存路径，例：d:/desktop，函数会提取文件名称进行路径的拼接，如果路径不存在则会自动创建。