Python + AIGC - 文生图-SD(中英文本生成图片) -（PaddleHub/HuggingFace - stable-diffusion-webui）_Python

功能

stable-diffusion(文本生成图片)
webui-win搭建（开启api+界面汉化）
paddlehub
huggingface: sd2，中文-alibaba/easynlp

stable-diffusion-webui

下载与安装

环境相关下载
python（文档推荐：install python 3.10.6 (newer version of python does not support torch)）
https://www.python.org/downloads/
git-win
https://git-scm.com/download
cuda（根据电脑配置选择）
https://developer.nvidia.com/cuda-toolkit
nvidia驱动（根据电脑配置选择）
https://www.nvidia.com/download/index.aspx

项目部署相关下载
项目（具体部署以此项目文档为准）
https://github.com/automatic1111/stable-diffusion-webui
汉化（操作流程参考此项目文档）
https://github.com/vinsonlaro/stable-diffusion-webui-chinese
模型（本示例选择：sd-v1-4.ckpt）
https://huggingface.co/compvis/stable-diffusion-v-1-4-original

备注：
环境安装查看其他文档

配置与启动

模型配置
复制到：stable-diffusion-webui\models\stable-diffusion目录
webui-user.bat配置(根据情况添加)
set commandline_args= --api  --no-half

cmd运行：webui-user.bat

备注：
--api 开启sdapi
gui地址：http://127.0.0.1:7860/ 
api-docs地址：http://127.0.0.1:7860/docs

结果

paddlehub

环境

pip install paddlepaddle-gpu
pip install paddlehub

代码

from pil import image
import paddlehub as hub
module = hub.module(name='stable_diffusion')

## 保存在demo目录
result = module.generate_image(text_prompts="clouds surround the mountains and chinese palaces,sunshine,lake,overlook,overlook,unreal engine,light effect,dream，greg rutkowski,james gurney,artstation", output_dir='demo')

结果

huggingface--sd2

环境

pip install diffusers transformers accelerate scipy safetensors

代码

import torch
from diffusers import stablediffusionpipeline, dpmsolvermultistepscheduler
import matplotlib.pyplot as plt
import matplotlib.image as mpimg

def show(image_path):
    # 使用 matplotlib 加载图片文件
    image = mpimg.imread(image_path)

    # 显示图片
    plt.imshow(image)
    plt.axis('off')  # 关闭坐标轴
    plt.show()

model_id = "stabilityai/stable-diffusion-2-1"

# use the dpmsolvermultistepscheduler (dpm-solver++) scheduler here instead
pipe = stablediffusionpipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = dpmsolvermultistepscheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")


prompt = "clouds surround the mountains and chinese palaces,sunshine,lake,overlook,overlook,unreal engine,light effect,dream，greg rutkowski,james gurney,artstation"
image = pipe(prompt).images[0]
    
image.save("test.png")
show('test.png')

结果

huggingface--中文-alibaba/easynlp

代码

from diffusers import stablediffusionpipeline

### 环境使用sd2

model_id = "alibaba-pai/pai-diffusion-artist-large-zh"
pipe = stablediffusionpipeline.from_pretrained(model_id)
pipe = pipe.to("cuda")

prompt = "云环绕群山和中国宫殿，阳光，湖泊，俯瞰，俯瞰，虚幻的引擎，灯光效果，梦想，格雷格·鲁特考斯基，詹姆斯·格尼，艺术站"
image = pipe(prompt).images[0]  
image.save("result.png")
show('result.png')