我要评论引言
文件存储已成为一个做任何应用都不可回避的需求。传统的单机文件存储方案在面对大规模数据和高并发访问时往往力不从心，而分布式文件存储系统则提供了更好的解决方案。本篇文章我将基于spring boot 3 为大家讲解如何基于minio来实现分布式文件存储。
分布式存储的出现
在探讨核心内容之前，我们不妨先回顾分布式存储技术是如何伴随系统架构演变发展的。在单体架构早期，文件直接存储于应用服务器中，这种方式简单直接，存取便捷。然而，随着业务规模扩大和用户量激增，系统架构逐步向分布式或微服务方向演进。此时，若仍将文件存储在应用服务器中，在负载均衡机制下可能导致文件访问异常 —— 用户上传的文件可能因路由到其他服务节点而无法访问。
面对这个挑战，我们可以借鉴"分层解决"的架构思想：将文件存储从应用服务中剥离，集中在独立的存储服务中统一管理。这便是分布式文件存储系统的雏形。
技术选型
在了解了分布式存储的演进背景后，让我们来梳理当前主流的分布式存储解决方案。
其他
- fastdfs -> 架构老旧，社区活跃度低，文档资料匮乏
- ambry -> 过度依赖 linkedin 技术栈，通用性不足
- moosefs -> 部署配置繁琐，运维门槛高
- mogilefs -> 性能一般，扩展性受限
- leofs -> 更新维护缓慢，生态系统不完善
- openstack -> 架构复杂重量级，不适合轻量级应用
- tfs -> 主要服务于阿里内部，外部支持有限
- ceph -> 学习曲线陡峭，配置调优复杂
- glusterfs -> 架构复杂，问题定位困难
- oss -> 商业收费服务，成本随数据量增长
✨minio
minio 是一款轻量级的分布式对象存储系统，完全兼容 amazon s3 云存储服务接口。其部署维护简单，性能卓越，成为我们的首选方案。
minio安装
minio 提供了多种部署方式，包括单机部署和分布式部署。本文主要关注 spring boot 与 minio 的整合实践，因此我们选择使用docker（ps：没安装docker的同学速速去安装，或者用别的方式只要本地部署的能跑就行）进行快速部署。
首先，通过命令拉取镜像。
docker pull minio/minio
接着在 本地创建一个存储文件的映射目录 d:\minio\data（ps：我当前演示的环境是win系统，大家根据自己的操作系统建个目录就行），使用以下命令启动 minio：
🔑 补充一个小细节：minio 的安全限制要求用户名长度至少需要 3 个字符，密码长度至少需要 8 个字符。
docker run -d --name minio -p 9000:9000 -p 9001:9001 -v d:\minio\data:/data -e "minio_root_user=root" -e "minio_root_password=12345678" minio/minio server /data --console-address ":9001" --address ":9000"
参数说明：
-d: 后台运行容器--name: 容器名称-p: 端口映射，9000用于api访问，9001用于控制台访问-v: 目录映射，将本地目录映射到容器的 /data-e: 环境变量，设置管理员账号和密码--console-address: 指定控制台端口--restart=always: 容器自动重启策略--address ":9000": 显式指定 api 端口
运行成功后访问 http://localhost:9001，使用执行命令中的凭据（ps：大家在使用时可以修改为自己的用户名和密码）登录：
- 用户名：root
- 密码：12345678
登录系统后，界面会提示创建桶。熟悉云服务商oss服务的读者对此概念应该不陌生。对初次接触的读者，可以将桶理解为一个命名空间或文件夹，您可以创建多个桶，每个桶内还能包含多层级的文件夹和文件。
这里我演示下控制台如何建桶和上传文件，方便大家理解文件在minio上的存储结构。
只需要输入名称就可以，建好之后可以看到桶的使用状态。
点击它进入桶的内部，这里大家需要关注一个设置- access policy，默认是private。这个设置需要根据业务的实际情况来，如果你的业务是需要提供一些不需要鉴权的公共访问的文件，就设为public；反之，就保持private。我这里把它修改为public。
然后点击右上角的上传按钮进入上传页可以向桶内上传文件。
上传成功后可以在桶内看到文件。
点击文件可查看详情，支持预览、删除、分享等多种功能。这些操作较为直观，安装后各位读者可自行体验。本文重点关注不在控制台的操作，就不做过多赘述了。
🔑这里再强调一点：存储在桶里的文件通过api访问的端口和控制台是不一样的。如果你对这里感觉迷惑，可以回看一下上面我贴上的docker运行命令里配置了两个端口-9000和9001。如果要通过api访问查看这个文件的话，通过拼接地址/端口号/桶名/文件路径查看，那么刚测试上传的文件的访问api就是http://localhost:9000/test/1.gif，在浏览器地址栏输入后可以看到。
# spring boot整合minio
这部分对于新建项目就不赘述了，直接说下我使用的 spring boot 版本为3.2.3，供大家参考。
1.引入依赖
在pom.xml引入minio的依赖，版本大家自己使用你当前最新的版本即可。
<!-- minio -->
<dependency>
<groupid>io.minio</groupid>
<artifactid>minio</artifactid>
<version>${latest.version}</version>
</dependency>2.添加配置
在yml配置文件中配置连接信息。
# minio配置 minio: endpoint: http://127.0.0.1:9000 # minio服务地址 filehost: http://127.0.0.1:9000 # 文件地址host bucketname: wechat # 存储桶bucket名称 accesskey: root # 用户名 secretkey: 12345678 # 密码
3.编写配置类
import com.pitayafruits.utils.minioutils;
import lombok.data;
import org.springframework.beans.factory.annotation.value;
import org.springframework.context.annotation.bean;
import org.springframework.context.annotation.configuration;
@configuration
@data
public class minioconfig {
@value("${minio.endpoint}")
private string endpoint;
@value("${minio.filehost}")
private string filehost;
@value("${minio.bucketname}")
private string bucketname;
@value("${minio.accesskey}")
private string accesskey;
@value("${minio.secretkey}")
private string secretkey;
@bean
public minioutils creatminioclient() {
return new minioutils(endpoint, filehost, bucketname, accesskey, secretkey);
}
}4.引入工具类
这个工具类封装了minio的核心功能，为您提供了很多开箱即用的功能。通过引入它，可以轻松实现文件上传、下载等操作，让大家将更多精力集中在业务开发上。
import io.minio.*;
import io.minio.http.method;
import io.minio.messages.bucket;
import io.minio.messages.deleteobject;
import io.minio.messages.item;
import lombok.extern.slf4j.slf4j;
import org.springframework.web.multipart.multipartfile;
import java.io.bytearrayinputstream;
import java.io.inputstream;
import java.io.unsupportedencodingexception;
import java.net.urldecoder;
import java.util.arraylist;
import java.util.linkedlist;
import java.util.list;
import java.util.optional;
/**
* minio工具类
*/
@slf4j
public class minioutils {
private static minioclient minioclient;
private static string endpoint;
private static string filehost;
private static string bucketname;
private static string accesskey;
private static string secretkey;
private static final string separator = "/";
public minioutils() {
}
public minioutils(string endpoint, string filehost, string bucketname, string accesskey, string secretkey) {
minioutils.endpoint = endpoint;
minioutils.filehost = filehost;
minioutils.bucketname = bucketname;
minioutils.accesskey = accesskey;
minioutils.secretkey = secretkey;
createminioclient();
}
/**
* 创建基于java端的minioclient
*/
public void createminioclient() {
try {
if (null == minioclient) {
log.info("开始创建 minioclient...");
minioclient = minioclient
.builder()
.endpoint(endpoint)
.credentials(accesskey, secretkey)
.build();
createbucket(bucketname);
log.info("创建完毕 minioclient...");
}
} catch (exception e) {
log.error("minio服务器异常：{}", e);
}
}
/**
* 获取上传文件前缀路径
* @return
*/
public static string getbasisurl() {
return endpoint + separator + bucketname + separator;
}
/****************************** operate bucket start ******************************/
/**
* 启动springboot容器的时候初始化bucket
* 如果没有bucket则创建
* @throws exception
*/
private static void createbucket(string bucketname) throws exception {
if (!bucketexists(bucketname)) {
minioclient.makebucket(makebucketargs.builder().bucket(bucketname).build());
}
}
/**
* 判断bucket是否存在，true：存在，false：不存在
* @return
* @throws exception
*/
public static boolean bucketexists(string bucketname) throws exception {
return minioclient.bucketexists(bucketexistsargs.builder().bucket(bucketname).build());
}
/**
* 获得bucket的策略
* @param bucketname
* @return
* @throws exception
*/
public static string getbucketpolicy(string bucketname) throws exception {
string bucketpolicy = minioclient
.getbucketpolicy(
getbucketpolicyargs
.builder()
.bucket(bucketname)
.build()
);
return bucketpolicy;
}
/**
* 获得所有bucket列表
* @return
* @throws exception
*/
public static list<bucket> getallbuckets() throws exception {
return minioclient.listbuckets();
}
/**
* 根据bucketname获取其相关信息
* @param bucketname
* @return
* @throws exception
*/
public static optional<bucket> getbucket(string bucketname) throws exception {
return getallbuckets().stream().filter(b -> b.name().equals(bucketname)).findfirst();
}
/**
* 根据bucketname删除bucket，true：删除成功； false：删除失败，文件或已不存在
* @param bucketname
* @throws exception
*/
public static void removebucket(string bucketname) throws exception {
minioclient.removebucket(removebucketargs.builder().bucket(bucketname).build());
}
/****************************** operate bucket end ******************************/
/****************************** operate files start ******************************/
/**
* 判断文件是否存在
* @param bucketname 存储桶
* @param objectname 文件名
* @return
*/
public static boolean isobjectexist(string bucketname, string objectname) {
boolean exist = true;
try {
minioclient.statobject(statobjectargs.builder().bucket(bucketname).object(objectname).build());
} catch (exception e) {
exist = false;
}
return exist;
}
/**
* 判断文件夹是否存在
* @param bucketname 存储桶
* @param objectname 文件夹名称
* @return
*/
public static boolean isfolderexist(string bucketname, string objectname) {
boolean exist = false;
try {
iterable<result<item>> results = minioclient.listobjects(
listobjectsargs.builder().bucket(bucketname).prefix(objectname).recursive(false).build());
for (result<item> result : results) {
item item = result.get();
if (item.isdir() && objectname.equals(item.objectname())) {
exist = true;
}
}
} catch (exception e) {
exist = false;
}
return exist;
}
/**
* 根据文件前置查询文件
* @param bucketname 存储桶
* @param prefix 前缀
* @param recursive 是否使用递归查询
* @return minioitem 列表
* @throws exception
*/
public static list<item> getallobjectsbyprefix(string bucketname,
string prefix,
boolean recursive) throws exception {
list<item> list = new arraylist<>();
iterable<result<item>> objectsiterator = minioclient.listobjects(
listobjectsargs.builder().bucket(bucketname).prefix(prefix).recursive(recursive).build());
if (objectsiterator != null) {
for (result<item> o : objectsiterator) {
item item = o.get();
list.add(item);
}
}
return list;
}
/**
* 获取文件流
* @param bucketname 存储桶
* @param objectname 文件名
* @return 二进制流
*/
public static inputstream getobject(string bucketname, string objectname) throws exception {
return minioclient.getobject(getobjectargs.builder().bucket(bucketname).object(objectname).build());
}
/**
* 断点下载
* @param bucketname 存储桶
* @param objectname 文件名称
* @param offset 起始字节的位置
* @param length 要读取的长度
* @return 二进制流
*/
public inputstream getobject(string bucketname, string objectname, long offset, long length)throws exception {
return minioclient.getobject(
getobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.offset(offset)
.length(length)
.build());
}
/**
* 获取路径下文件列表
* @param bucketname 存储桶
* @param prefix 文件名称
* @param recursive 是否递归查找，false：模拟文件夹结构查找
* @return 二进制流
*/
public static iterable<result<item>> listobjects(string bucketname, string prefix,
boolean recursive) {
return minioclient.listobjects(
listobjectsargs.builder()
.bucket(bucketname)
.prefix(prefix)
.recursive(recursive)
.build());
}
/**
* 使用multipartfile进行文件上传
* @param bucketname 存储桶
* @param file 文件名
* @param objectname 对象名
* @param contenttype 类型
* @return
* @throws exception
*/
public static objectwriteresponse uploadfile(string bucketname, multipartfile file,
string objectname, string contenttype) throws exception {
inputstream inputstream = file.getinputstream();
return minioclient.putobject(
putobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.contenttype(contenttype)
.stream(inputstream, inputstream.available(), -1)
.build());
}
/**
* 上传本地文件
* @param bucketname 存储桶
* @param objectname 对象名称
* @param filename 本地文件路径
*/
public static string uploadfile(string bucketname, string objectname,
string filename, boolean needurl) throws exception {
minioclient.uploadobject(
uploadobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.filename(filename)
.build());
if (needurl) {
string imageurl = filehost
+ "/"
+ bucketname
+ "/"
+ objectname;
return imageurl;
}
return "";
}
/**
* 通过流上传文件
*
* @param bucketname 存储桶
* @param objectname 文件对象
* @param inputstream 文件流
*/
public static objectwriteresponse uploadfile(string bucketname, string objectname, inputstream inputstream) throws exception {
return minioclient.putobject(
putobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.stream(inputstream, inputstream.available(), -1)
.build());
}
public static string uploadfile(string bucketname, string objectname, inputstream inputstream, boolean needurl) throws exception {
minioclient.putobject(
putobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.stream(inputstream, inputstream.available(), -1)
.build());
if (needurl) {
string imageurl = filehost
+ "/"
+ bucketname
+ "/"
+ objectname;
return imageurl;
}
return "";
}
/**
* 创建文件夹或目录
* @param bucketname 存储桶
* @param objectname 目录路径
*/
public static objectwriteresponse createdir(string bucketname, string objectname) throws exception {
return minioclient.putobject(
putobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.stream(new bytearrayinputstream(new byte[]{}), 0, -1)
.build());
}
/**
* 获取文件信息, 如果抛出异常则说明文件不存在
*
* @param bucketname 存储桶
* @param objectname 文件名称
*/
public static string getfilestatusinfo(string bucketname, string objectname) throws exception {
return minioclient.statobject(
statobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.build()).tostring();
}
/**
* 拷贝文件
*
* @param bucketname 存储桶
* @param objectname 文件名
* @param srcbucketname 目标存储桶
* @param srcobjectname 目标文件名
*/
public static objectwriteresponse copyfile(string bucketname, string objectname,
string srcbucketname, string srcobjectname) throws exception {
return minioclient.copyobject(
copyobjectargs.builder()
.source(copysource.builder().bucket(bucketname).object(objectname).build())
.bucket(srcbucketname)
.object(srcobjectname)
.build());
}
/**
* 删除文件
* @param bucketname 存储桶
* @param objectname 文件名称
*/
public static void removefile(string bucketname, string objectname) throws exception {
minioclient.removeobject(
removeobjectargs.builder()
.bucket(bucketname)
.object(objectname)
.build());
}
/**
* 批量删除文件
* @param bucketname 存储桶
* @param keys 需要删除的文件列表
* @return
*/
public static void removefiles(string bucketname, list<string> keys) {
list<deleteobject> objects = new linkedlist<>();
keys.foreach(s -> {
objects.add(new deleteobject(s));
try {
removefile(bucketname, s);
} catch (exception e) {
log.error("批量删除失败！error:{}",e);
}
});
}
/**
* 获取文件外链
* @param bucketname 存储桶
* @param objectname 文件名
* @param expires 过期时间 <=7 秒 （外链有效时间（单位：秒））
* @return url
* @throws exception
*/
public static string getpresignedobjecturl(string bucketname, string objectname, integer expires) throws exception {
getpresignedobjecturlargs args = getpresignedobjecturlargs.builder().expiry(expires).bucket(bucketname).object(objectname).build();
return minioclient.getpresignedobjecturl(args);
}
/**
* 获得文件外链
* @param bucketname
* @param objectname
* @return url
* @throws exception
*/
public static string getpresignedobjecturl(string bucketname, string objectname) throws exception {
getpresignedobjecturlargs args = getpresignedobjecturlargs.builder()
.bucket(bucketname)
.object(objectname)
.method(method.get).build();
return minioclient.getpresignedobjecturl(args);
}
/**
* 将urldecoder编码转成utf8
* @param str
* @return
* @throws unsupportedencodingexception
*/
public static string getutf8byurldecoder(string str) throws unsupportedencodingexception {
string url = str.replaceall("%(?![0-9a-fa-f]{2})", "%25");
return urldecoder.decode(url, "utf-8");
}
/****************************** operate files end ******************************/
}5.开发测试
我刚好在做练手项目，这里写个上传头像的接口。
import com.pitayafruits.base.baseinfoproperties;
import com.pitayafruits.config.minioconfig;
import com.pitayafruits.grace.result.gracejsonresult;
import com.pitayafruits.grace.result.responsestatusenum;
import com.pitayafruits.utils.minioutils;
import jakarta.annotation.resource;
import org.apache.commons.lang3.stringutils;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.multipartfile;
@restcontroller
@requestmapping("file")
public class filecontroller extends baseinfoproperties {
@resource
private minioconfig minioconfig;
@postmapping("uploadface")
public gracejsonresult upload(@requestparam multipartfile file,
string userid) throws exception {
if (stringutils.isblank(userid)) {
return gracejsonresult.errorcustom(responsestatusenum.file_upload_faild);
}
string filename = file.getoriginalfilename();
if (stringutils.isblank(filename)) {
return gracejsonresult.errorcustom(responsestatusenum.file_upload_faild);
}
filename = "face" + "/" + userid + "/" + filename;
minioutils.uploadfile(minioconfig.getbucketname(), filename, file.getinputstream());
string faceurl = minioconfig.getfilehost()
+ "/"
+ minioconfig.getbucketname()
+ "/"
+ filename;
return gracejsonresult.ok(faceurl);
}
}可以看到通过工具类只需要一行代码就可以实现上传文件，我们只需要在调用的时候做好文件的业务隔离即可。完成了接口的开发，这里我来通过apifox调用测试一下。
通过浏览器访问返回的图片链接会自动下载，我们再登录控制台看对应的桶下的这个路径，也可以看到这个文件。
小结
我们在集成第三方服务时应遵循一个核心原则：将api操作封装成通用工具类。这不仅让minio的集成更加优雅，也让代码具备更好的复用性和可维护性。这种思维方式同样适用于其他第三方服务的对接。
到此这篇关于spring boot 3 整合 minio 实现分布式文件存储的文章就介绍到这了,更多相关spring boot minio 分布式文件存储内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网！
发表评论