分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)_go-fastdfs漏洞(2)

二、fastdfs文件上传下载

2.1.上传下载流程

1.上传流程:

2.下载流程:

2.2.上传下载实现

2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件

<project xmlns="http://maven.apache.org/pom/4.0.0" xmlns:xsi="http://www.w3.org/2001/xmlschema-instance" 
 xsi:schemalocation="http://maven.apache.org/pom/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    
    <modelversion>4.0.0</modelversion>     
    <groupid>com.leech</groupid>    
    <artifactid>fastdfs-demo</artifactid>    
    <version>0.0.1-snapshot</version>    
    <packaging>jar</packaging>     
    <name>fastdfs-demo</name>    
    <url>http://maven.apache.org</url>     
    <properties>      
        <project.build.sourceencoding>utf-8</project.build.sourceencoding>    
    </properties>     
      
    <dependencies>      
        <dependency>        
            <groupid>junit</groupid>        
            <artifactid>junit</artifactid>        
            <version>4.11</version>        
            <scope>test</scope>      
        </dependency>           
        <dependency>        
            <groupid>org.csource</groupid>        
            <artifactid>fastdfs-client-java</artifactid>        
            <version>1.25</version>      
        </dependency>           
        <dependency>          
            <groupid>commons-io</groupid>          
            <artifactid>commons-io</artifactid>          
            <version>2.4</version>      
            </dependency>         
        </dependencies>  
    </project>  

2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）

2.2.3.实现文件上传

   public void save(httpservletrequest request,httpservletresponse response){          
    string videoname=request.getparameter("videoname");  
    string videotype=request.getparameter("videotype");  
    string videodesc=request.getparameter("videodesc");  
    string videopath=request.getparameter("videopath");  
    string picturepath=request.getparameter("picturepath");  
  
    simpledateformat formatter = new simpledateformat("yyyy-mm-dd hh:mm:ss");  
    date uploadtime=null;  
    try {  
        uploadtime = formatter.parse(formatter.format(new date()));  
    } catch (parseexception e) {  
        // todo auto-generated catch block 
        e.printstacktrace();  
    }  
      
    jacksonjsonuntil jackjsonutil =new jacksonjsonuntil ();  
      
    string databasename = "itoo\_video";  
  
    video video=new video();  
    video.setusername("why");  
    video.setuserid("why");       
    video.setvideoname(videoname);  
    video.setvideopath(videopath);  
    video.setvideotype(videotype);  
    video.setvideodesc(videodesc);    
    video.setdatabasename(databasename);  
    video.setpicturepath(picturepath);  
    video.setuploadtime(uploadtime);  
      
    uploadfileservice.save(video);        
      
       jackjsonutil.beantojson(response,video);  
      
}  
  
/\* 
 \* 上传文件 
 \*/  
@requestmapping(value={"/upload"})  
@responsebody  
public void upload( multipartfile file, httpservletrequest request,httpservletresponse response){         
      
    string ext_name = file.getoriginalfilename().split("\\.")[1];  
    string videoname=file.getoriginalfilename().split("\\.")[0];  
      
       byte[] bytes = null;  
    try {  
        bytes = file.getbytes();  
    } catch (ioexception e) {  
        e.printstacktrace();  
    }  
    string videopath=uploadfile(bytes,ext_name);  
      
    jacksonjsonuntil jackjsonutil =new jacksonjsonuntil ();  
      
    video video=new video();  
    video.setvideopath(videopath);  
    video.setvideoname(videoname);        
      
    jackjsonutil.beantojson(response,video);  
}   
  
public string uploadfile(byte[] bytefile, string ext_file) {  
    // 拼接服务区的文件路径 
    stringbuffer sbpath = new stringbuffer();  
    sbpath.append("http://192.168.22.252");  
    try {  
        // 初始化文件资源 
        clientglobal  
                .init("c:\\users\\alsr\\desktop\\itoo-5.0\\itoo-video-test\\dmsd-itoo-video-parent\\dmsd-itoo-video-web\\src\\main\\resources\\fdfs\_client.conf");  
  
        // 链接fastdfs服务器，创建tracker和stroage 
        trackerclient trackerclient = new trackerclient();  
        trackerserver trackerserver = trackerclient.getconnection();  
        storageserver storageserver = null;  
        storageclient storageclient = new storageclient(trackerserver,  
                storageserver);  
        //利用字节流上传文件 
        string[] strings = storageclient.upload\_file(bytefile, ext_file, null);  
  
        for (string string : strings) {  
            sbpath.append("/" + string);  
            system.out.println(string);  
        }  
        // 全路径 
        system.out.println(sbpath);  
    } catch (ioexception | myexception e) {  
        e.printstacktrace();  
    }  
    return sbpath.tostring();  
}  

只要我们能正常接收到一个json类型的字符串（url地址），就证明我们已经上传成功了，如果不信，可以直接用浏览器去验证一下，看看能不能得到文件展示。

2.2.4.fastdfs实现文件下载

public void testdownload() {          
        try {               
            clientglobal.init(conf_filename);               
            trackerclient tracker = new trackerclient();               
            trackerserver trackerserver = tracker.getconnection();              
            storageserver storageserver = null;               
            storageclient storageclient = new storageclient(trackerserver, storageserver);               
            byte[] b = storageclient.download\_file("group1", "m00/00/00/wkgrcfv\_08oak\_kcaaaa5fm\_sy874.conf");               
            system.out.println(b);               
            ioutils.write(b, new fileoutputstream("d:/"+uuid.randomuuid().tostring()+".conf"));          
            }   
        catch (exception e) {               
            e.printstacktrace();           
        }       
    }         

2.2.5.fastdfs获取将上传文件信息

public void testgetfileinfo(){           
        try {               
            clientglobal.init(conf_filename);               
            trackerclient tracker = new trackerclient();               
            trackerserver trackerserver = tracker.getconnection();               
            storageserver storageserver = null;               
            storageclient storageclient = new storageclient(trackerserver, storageserver);               
            fileinfo fi = storageclient.get\_file\_info("group1", "m00/00/00/wkgrcfv\_08oak\_kcaaaa5fm\_sy874.conf");               
            system.out.println(fi.getsourceipaddr());             system.out.println(fi.getfilesize());               
            system.out.println(fi.getcreatetimestamp());             system.out.println(fi.getcrc32());           
            }     
        catch (exception e) {               
            e.printstacktrace();           
            }       
        }         

2.2.6.fastdfs获取文件名称

public void testgetfilemate(){           
        try {              
            clientglobal.init(conf_filename);               
            trackerclient tracker = new trackerclient();               
            trackerserver trackerserver = tracker.getconnection();               
            storageserver storageserver = null;               
            storageclient storageclient = new storageclient(trackerserver,                       
            storageserver);               
            namevaluepair nvps [] = storageclient.get\_metadata("group1","m00/00/00/wkgrcfv\_08oak\_kcaaaa5fm\_sy874.conf");               
            for(namevaluepair nvp : nvps){                   
                system.out.println(nvp.getname() + ":" + nvp.getvalue());              
                }           
            } catch (exception e) {               
            	e.printstacktrace();           
            }       
    }    

2.2.7.fastdfs实现删除文件

public void testdelete(){           
try {               
    clientglobal.init(conf_filename);               
    trackerclient tracker = new trackerclient();               
    trackerserver trackerserver = tracker.getconnection();               
    storageserver storageserver = null;               
    storageclient storageclient = new storageclient(trackerserver,storageserver);               
    int i = storageclient.delete\_file("group1","m00/00/00/wkgrcfv\_08oak\_kcaaaa5fm\_sy874.conf");               
    system.out.println( i==0 ? "删除成功" : "删除失败:"+i);           
    } catch (exception e) {               
    	e.printstacktrace();           
    }       
}  

2.2.8.fastdfs查询文件

//查询文件
@test
public void testqueryfile() throws ioexception, myexception {
	clientglobal.initbyproperties("config/fastdfs‐client.properties");
	trackerclient tracker = new trackerclient();
	trackerserver trackerserver = tracker.getconnection();
	storageserver storageserver = null;
	storageclient storageclient = new storageclient(trackerserver,storageserver);
	fileinfo fileinfo = storageclient.query\_file\_info("group1","m00/00/01/wkhlqfrkbsoaw5awaalcag10vf4862.png");
	system.out.println(fileinfo);
}

三、fastdfs+nginx(单点部署)事例

3.1.服务器规划

下载完成后，将压缩包解压到/usr/local/src目录下

3.2.所有tracker和storage节点都执行如下操作

1、安装所需的依赖包

yum install make cmake gcc gcc-c++

2、安装libfatscommon

cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip    
cd libfastcommon-master
#编译、安装
./make.sh
./make.sh install

3、安装fastdfs

cd /usr/local/src
tar -xzvf fastdfs\_v5.08.tar.gz
cd fastdfs
./make.sh
./make.sh install

采用默认安装方式，相应的文件与目录如下：
1> 服务脚本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

2> 配置文件（示例配置文件）：

 ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample

3> 命令行工具（/usr/bin目录下）

-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

3.3.配置tracker服务器

1> 复制tracker样例配置文件，并重命名

 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2> 修改tracker配置文件

vim /etc/fdfs/tracker.conf

修改的内容如下：

disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker  # 存储日志和数据的根目录

其它参数保留默认配置， 具体配置解释可参考官方文档说明：fastdfs配置文件详解

3> 创建base_path指定的目录

mkdir -p /fastdfs/tracker

4> 防火墙中打开tracker服务器端口（ 默认为 22122）

vi /etc/sysconfig/iptables 

附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：

iptables -p output accept

然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。

添加如下端口行：

-a input -m state --state new -m tcp -p tcp --dport 22122 -j accept 

重启防火墙

service iptables restart

5> 启动tracker服务器

 /etc/init.d/fdfs_trackerd start

初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。

drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs

检查fastdfs tracker server是否启动成功：

ps -ef | grep fdfs_trackerd

3.4.配置storage服务器

1> 复制storage样例配置文件，并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2> 编辑配置文件

vi /etc/fdfs/storage.conf

修改的内容如下:

disabled=false                      # 启用配置文件
port=23000                          # storage服务端口
base_path=/fastdfs/storage          # 数据和日志文件存储根目录
store_path0=/fastdfs/storage        # 第一个存储目录
tracker_server=ip01:22122  # tracker服务器ip和端口
http.server_port=8888               # http访问文件的端口

其它参数保留默认配置， 具体配置解释可参考官方文档说明：fastdfs配置文件详解

3> 创建基础数据目录

mkdir -p /fastdfs/storage

4> 防火墙中打开storage服务器端口（ 默认为 23000）

vi /etc/sysconfig/iptables

#添加如下端口行：

-a input -m state --state new -m tcp -p tcp --dport 23000 -j accept

重启防火墙

 service iptables restart

5> 启动storage服务器

/etc/init.d/fdfs_storaged start

初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。

drwxr-xr-x 259 root root 4096 mar 31 06:22 data
drwxr-xr-x   2 root root 4096 mar 31 06:22 logs

检查fastdfs tracker server是否启动成功：

[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root      1336     1  3 06:22 ?        00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root      1347   369  0 06:23 pts/0    00:00:00 grep fdfs_storaged

3.5.文件上传测试（ip01）

1> 修改tracker服务器客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf

修改以下配置，其它保持默认

base_path=/fastdfs/tracker
tracker_server=ip01:22122

2> 执行文件上传命令

#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png

返回文件id号：group1/m00/00/00/tlxkwlhttsgau2zxaac07quu0oe095.png

(能返回以上文件id，说明文件已经上传成功)

3.6.在所有storage节点安装fastdfs-nginx-module

1>fastdfs-nginx-module作用:

2> 解压 fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

3> 修改 fastdfs-nginx-module 的 config 配置文件

cd fastdfs-nginx-module/src
vi config
将

core_incs="$core\_incs /usr/local/include/fastdfs /usr/local/include/fastcommon/" 

修改为:

core_incs="$core\_incs /usr/include/fastdfs /usr/include/fastcommon/"

4>上传当前的稳定版本 nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目录

5>安装编译 nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre\* zlib openssl openssl-devel

6>编译安装 nginx (添加 fastdfs-nginx-module 模块)

cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src <br>make && make install

比对 nginx下makefile

default:        build
 
clean:
        rm -rf makefile objs
 
build:
        $(make) -f objs/makefile
 
install:
        $(make) -f objs/makefile install
 
modules:
        $(make) -f objs/makefile modules
 
upgrade:
        /usr/local/nginx/sbin/nginx -t
 
        kill -usr2 'cat /usr/local/nginx/logs/nginx.pid'
        sleep 1
        test -f /usr/local/nginx/logs/nginx.pid.oldbin
 
        kill -quit 'cat /usr/local/nginx/logs/nginx.pid.oldbin'

7>复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf

8>修改以下配置:

	 connect_timeout=10
     base_path=/tmp
     tracker_server=ip01:22122
     storage_server_port=23000
     group_name=group1
     url_have_group_name = true
     store_path0=/fastdfs/storage

9> 复制 fastdfs 的部分配置文件到/etc/fdfs 目录

cd /usr/local/src/fastdfs/conf<br>
cp http.conf mime.types /etc/fdfs/

10> 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/m00

11>配置 nginx

user nobody;
worker_processes 1;
events {
    worker_connections 1024;
}
http {

    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    server {
        listen 8888;
        server_name localhost;
        location ~/group([0-9])/m00 {
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }
}

a、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
b、storage 对应有多个 group 的情况下,访问路径带 group 名,如**/group1/m00/00/00/xxx**, 对应的 nginx 配置为:

     location ~/group([0-9])/m00 {
         ngx_fastdfs_module;
	}

c、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

12> 防火墙中打开 nginx 的 8888 端口

vi /etc/sysconfig/iptables

添加:

-a input -m state --state new -m tcp -p tcp --dport 8888 -j accept
 
#重启防火墙
service iptables restart

启动 nginx

/usr/local/nginx/sbin/nginx<br>(重启 nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)

13>通过浏览器访问测试时上传的文件

http://ip:port/group1/m00/00/00/tlxkwlhttsgau2zxaac07quu0oe095.png 
or 
http://ip/group1/m00/00/00/tlxkwlhttsgau2zxaac07quu0oe095.png

四、fastdfs集群部署(实现高可用（ha))

4.1.准备

1.服务器规划:

操作系统：centos7
用户：root
数据存储目录：

应用	安装目录
nginx	/opt/nginx
fastdfs	/usr/bin
keepalived	/usr/local
安装包	/home/yxgly/resourcese /usr/local/src
tracker_data	/fastdfs/tracker
storage_data	/fastdfs/storage

2.安装包

下载完成后，将压缩包解压到/usr/local/src目录下

4.2.所有tracker和storage节点都执行如下操作

1、安装所需的依赖包

yum install make cmake gcc gcc-c++

2、安装libfatscommon

cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip   
cd libfastcommon-master
编译、安装
./make.sh
./make.sh install

3、安装fastdfs

cd /usr/local/src
tar -xzvf fastdfs\_v5.08.tar.gz
cd fastdfs
./make.sh
./make.sh install

采用默认安装方式，相应的文件与目录检查如下：

1> 服务脚本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

2> 配置文件（示例配置文件）：

ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample

3> 命令行工具（/usr/bin目录下）

ll /usr/bin/fdfs_\*
-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

4.3.配置tracker服务器

1、复制tracker样例配置文件，并重命名

 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2、修改tracker配置文件

vim /etc/fdfs/tracker.conf

修改的内容如下：

disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker  # 存储日志和数据的根目录
store_group=group1

其它参数保留默认配置， 具体配置解释可参考官方文档说明：fastdfs配置文件详解
3、创建base_path指定的目录

mkdir -p /fastdfs/tracker

4、防火墙中打开tracker服务器端口（ 默认为 22122）

vi /etc/sysconfig/iptables

附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：

iptables -p output accept

然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。
添加如下端口行：

-a input -m state --state new -m tcp -p tcp --dport 22122 -j accept

重启防火墙

service iptables restart

5、启动tracker服务器

 /etc/init.d/fdfs_trackerd start

初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。

drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs

检查fastdfs tracker server是否启动成功：

ps -ef | grep fdfs_trackerd

4.4.配置storage服务器

1、复制storage样例配置文件，并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2、编辑配置文件

vi /etc/fdfs/storage.conf



## 学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/7a04c5d629f1415a9e35662316578e07.png#pic_center)





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事it行业的老鸟或是对it行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**