简介一份覆盖本地化AI图文视频生成网站搭建全流程的详细教程以PDF文档形式打包面向对Stable Diffusion等生成式AI感兴趣、希望本地部署并创作逼真图像与动画视频的开发者、内容创作者及设计爱好者。教程按5大模块展开先从Python 3.10.6环境配置与stable-diffusion-webui项目克隆讲起再给出ChilloutMix等真人模型在Civitai的下载与放置方法接着说明汉化插件的安装启用之后重点讲解如何输入Prompt生成模拟真人图片、切换不同风格以及制作动画视频最后介绍结合语音合成让图片开口说话的实现思路整体覆盖从环境搭建到高级应用的完整链路。整个包仅含1个PDF文件大小约6.45MB轻量易读内含实操命令、模型路径及关键参数参考目前已有719人学习下载适合想快速上手本地化AI创作工具的中级玩家。1. 本地化图文视频生成网站一台带 GPU 的机器就是你的全套生成服务做AI绘画和AI视频的团队十有八九会在某个节点遇到同一个尴尬云端API好用但数据上传前要过一遍别人的服务器批量任务烧钱私有数据的合规又卡脖子。自己搭一个本地化的图文视频生成网站就是把 Stable Diffusion 那套图像生成能力、AnimateDiff 或类似模型那套视频生成能力全部装进你自己的机器用一个网页把提示词送进去浏览器里直接拿结果。它解决的问题很具体素材不出内网、生成不按张计费、接口想怎么改就怎么改。适合工作室、中小企业做批量素材生产也适合想彻底搞懂生成管线怎么串起来的开发者。我下面会从选型、源码骨架、参数调到踩坑一步步说清楚按这个路子走几小时就能跑出一个真正能用的站点。2. 先立技术底座模型选型与网站架构怎么定本地化生成网站不是把几个开源模型丢进一个文件夹就完事。要先想清楚三件事图像生成用什么模型跑、视频生成用什么方案接、网站本身怎么把模型服务和页面串起来。这三层定了后面写代码才不返工。2.1 为什么“本地化”值得做数据边界、成本与可控性把生成能力放在本地第一个收益是数据边界。公司内部的产品图、设计稿、人物素材走云端API意味着这些资源要经过第三方服务很多公司过不了这一关。本地部署后提示词和生成结果只存在于你自己的机器和内网这点对做私域素材、电商图、内部设计评审的团队几乎是刚需。第二个收益是成本结构。云端API按张计费批量生成几百张图测试风格时费用肉眼可见。本地部署等于一次性买断显卡和电费跑多跑少都是这个成本。我见过一个小团队用两张消费级显卡跑本地生成一个月出几千张图电费加折旧摊下来比当时用的商业API便宜一个量级。缺点是前期调试要花时间但一次搭好长期用是划算的。第三个是可控性。云端API的模型版本、采样参数、负面提示词策略都由平台说了算你想换一个微调模型、挂一个LoRA、改一段图像后处理逻辑云端往往限制很多。本地部署你可以直接改 pipeline自由度完全是另一回事。DeepSeek 本地化部署那波热度带火的不只是大语言模型连带图像和视频生成也把“本地跑”当成了默认前提生成类工作流本地化已经是个大方向。2.2 生成引擎选型图像模型与视频模型怎么搭配图像生成的主流选择基本是 Stable Diffusion 系。SD 1.5 老但生态最全LoRA、ControlNet 的社区兼容性最好SDXL 出图质量高一个台阶对提示词的理解也更好但显存占用和推理时间都涨了不少SD 3.5 这类新架构效果强可生态还在爬坡期。我的判断是第一次搭站别贪新SDXL 是当前性价比最稳的起点跑不动再降级到 SD 1.5。视频生成目前有两条路。一条是 AnimateDiff 这类基于 SD 的扩展方案你可以在 diffusers 里直接加载 Motion Adapter把文本生成一个短视频片段特点是显存压力相对小、可控性强、和图像生成共用一套提示词逻辑。另一类是独立的图像到视频/文本到视频模型生成质量更高但模型体积和显存要求也更狠消费级显卡不一定吃得下。我自己常用的搭配是图像用 SDXL 模型文件视频用 AnimateDiff 的 motion adapter两者都通过 diffusers 库加载。这样后端代码只是一套 pipeline 的切换不用维护两套完全不同的推理框架。你如果偏向 ComfyUI也可以把 ComfyUI 当成生成引擎网站通过 API 调用它的工作流但代码复杂度会更高第一次搭站不建议这么干。2.3 网站架构模型进程与 Web 服务怎么分工本地化网站最怕的一件事是页面访问和模型推理挤在同一个进程里结果生成一张图时整个网站卡死。常见做法是把架构拆成两层。一层是模型服务跑在独立进程里专门负责加载模型和推理。你可以写成 FastAPI 的一个接口也可以做成常驻的 Python 脚本。另一层是 Web 应用负责页面渲染、任务接收、结果展示它不直接持有模型而是通过 HTTP 请求把生成任务丢给模型服务。好处是模型推理是阻塞式的长任务占的是模型服务那个进程的 CPU/显存资源Web 端还能继续响应页面请求、查看历史任务。我一般落地时还会在中间加一个任务队列。最简单的不上 Celery就用 Python 自带的多线程或者队列结构用户提交提示词后任务先入队模型服务空闲时就取一个执行执行完把结果写到磁盘上的输出目录同时把文件路径存进一个 JSON 或者 SQLite。前端页面通过轮询或简单的前端定时刷新发现新结果后展示。这套结构足够支撑一个工作室内部几个人同时用也不用为几秒的推理延迟上太重的任务系统。3. 搭最小可跑系统从空目录到浏览器出图出视频架构定好后这一章给出可直接抄作业的源码骨架。我会把目录组织、后端接口、前端页面和启动步骤全部展开代码都是能直接跑的级别你只需要把模型路径和显卡环境换掉。3.1 目录结构与依赖安装先把目录组织好。这个结构是我反复调整过的核心原则是模型文件、生成的输出、Web 代码三者分开不会因为误操作把模型权重和生成结果混在一起。local-gen-site/ ├── web/ │ ├── app.py # FastAPI 主程序 │ ├── templates/ │ │ └── index.html # 前端页面 │ └── static/ │ ├── css/ # 样式文件 │ └── js/ # 前端交互脚本 ├── models/ # 模型权重目录自己放模型文件 │ ├── sdxl/ │ └── animatediff/ ├── outputs/ # 生成的图像和视频都写到这里 │ ├── images/ │ └── videos/ ├── requirements.txt └── start.sh # 一键启动脚本依赖我建议装在独立虚拟环境里避免跟系统 Python 打架conda create -n gen-site python3.10 -y conda activate gen-site pip install fastapi uvicorn diffusers transformers accelerate safetensors pillow参数说明Python 3.10 是 diffusers 目前兼容性最好的版本有些模型组件在 3.11 下会报类型检查的小问题diffusers 为主力推理库transformers 负责处理模型的文本编码器accelerate 必装它能帮你自动分配显存和设备不装的话多 GPU 或混合精度会遇到不少低级问题。启动脚本里我习惯显式指定监听地址默认只在本机访问需要在局域网用就改成 0.0.0.0后面避坑章节会细说这个。# start.sh cd $(dirname $0) conda activate gen-site uvicorn web.app:app --host 0.0.0.0 --port 80003.2 写后端FastAPI 接收任务并调推理管线后端是网站的心脏职责很单一接收 Web 请求里的提示词和参数交给 diffusers pipeline 生成图像或视频返回结果文件路径。下面的代码是一个能直接跑的文生图接口# web/app.py import os import uuid from fastapi import FastAPI, Form from fastapi.responses import JSONResponse, FileResponse from fastapi.staticfiles import StaticFiles from diffusers import StableDiffusionXLPipeline import torch app FastAPI() app.mount(/static, StaticFiles(directoryweb/static), namestatic) # 全局只加载一次模型避免每次请求都重新加载 MODEL_PATH models/sdxl OUTPUT_DIR outputs/images pipe None def load_pipeline(): global pipe if pipe is None: pipe StableDiffusionXLPipeline.from_pretrained( MODEL_PATH, torch_dtypetorch.float16, variantfp16, ) pipe.to(cuda) pipe.enable_attention_slicing() # 降低显存占用速度略降但更稳 app.post(/api/generate-image) async def generate_image( prompt: str Form(...), negative_prompt: str Form(), steps: int Form(25), cfg: float Form(7.5), width: int Form(1024), height: int Form(1024), ): load_pipeline() filename f{uuid.uuid4().hex}.png filepath os.path.join(OUTPUT_DIR, filename) image pipe( promptprompt, negative_promptnegative_prompt, num_inference_stepssteps, guidance_scalecfg, widthwidth, heightheight, ).images[0] image.save(filepath) return JSONResponse({status: ok, image_url: f/outputs/images/{filename}}) app.get(/outputs/images/{filename}) async def get_image(filename: str): return FileResponse(os.path.join(OUTPUT_DIR, filename))逻辑说明from_pretrained是 diffusers 的模型加载入口指定fp16变体能让显存占用直接减半但前提是你的显卡支持半精度enable_attention_slicing()是一个内存换速度的优化显存不够时先把它打开等后面显存验证没问题再关。接口层的Form(...)说明这个接口接收的是表单数据前端用 fetch 的 FormData 就能直接调用不需要折腾 JSON 序列化。参数说明steps 是去噪步数取值 20-30 之间cfg 是 CFG Guidance Scale控制图像跟提示词一致的程度7 左右最常见高了发灰低了跑题。width 和 height 建议让前端做下拉框限制几个固定档位千万别让用户随便填SDXL 原生分辨率之外的值很容易出构图崩坏的图。视频生成接口在 diffusers 里写法类似核心是把 pipeline 换成 AnimateDiff 的加载方式from diffusers import AnimateDiffPipeline, MotionAdapter, DiffusionPipeline def load_video_pipeline(): adapter MotionAdapter.from_pretrained(models/animatediff/motion-adapter) pipe AnimateDiffPipeline.from_pretrained( models/animatediff/base, motion_adapteradapter, torch_dtypetorch.float16, ) pipe.to(cuda) return pipe # 生成视频时调用 # video_frames pipe(promptprompt, num_frames16, guidance_scale7.0).frames[0] # 然后用 imageio 把帧列表写成 mp4逻辑说明AnimateDiff 的加载方式是提前加载一个 motion adapter再配合基础模型一起组成视频生成管线。生成的帧列表通过 imageio 写入 mp4 时注意帧率和输出编码一般 8-16 帧、每秒 8 帧就是一个能看的效果。视频生成耗时比图像高一截16 帧在消费级显卡上通常要一两分钟别期待实时。3.3 写前端一个页面走完输入到预览全流程前端不需要复杂的框架一个 HTML 页面加少量 JavaScript 就行。这个页面要做到填写提示词、选择模式和参数、点生成、显示结果。!-- web/templates/index.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 title本地图文视频生成/title /head body h1本地图文视频生成/h1 label提示词/label textarea idprompt rows3 stylewidth:100%a beautiful mountain landscape, sunset/textarea label负面提示词/label input idnegative typetext valueblurry, low quality stylewidth:100% label生成模式/label select idmode option valueimage图像/option option valuevideo视频/option /select label步数/label input idsteps typenumber value25 min10 max50 labelCFG/label input idcfg typenumber value7.5 step0.5 min1 max20 button idgenerate-btn开始生成/button div idresult/div script document.getElementById(generate-btn).addEventListener(click, async () { const formData new FormData(); formData.append(prompt, document.getElementById(prompt).value); formData.append(negative_prompt, document.getElementById(negative).value); formData.append(steps, document.getElementById(steps).value); formData.append(cfg, document.getElementById(cfg).value); const mode document.getElementById(mode).value; const endpoint mode image ? /api/generate-image : /api/generate-video; const resp await fetch(endpoint, { method: POST, body: formData }); const data await resp.json(); const resultDiv document.getElementById(result); if (data.image_url) { resultDiv.innerHTML img src${data.image_url} stylemax-width:100%; } else if (data.video_url) { resultDiv.innerHTML video src${data.video_url} controls stylemax-width:100%/video; } }); /script /body /html逻辑说明前端页面用原生 fetch 提交表单数据不用引入 Vue 或 React对本地工具站来说维护成本更低。模式下拉框切换图像和视频两个接口后端返回的 URL 直接渲染成图片或 video 标签。你可以把生成的图片直接右键保存已经够工作室内部日常使用。如果你要做成团队可用的工具我建议在页面里加一个「历史生成记录」区域每次生成后把提示词、参数和结果 URL 存进浏览器的 localStorage方便复现同风格图。后端按现有代码结构再加一个/api/history接口就能实现。3.4 启动与首次出图验证先把模型文件放进 models 目录然后按顺序走一遍。我把启动后第一步验证的步骤列出来启动服务bash start.sh看到Uvicorn running on http://0.0.0.0:8000说明服务起来了。浏览页面本机浏览器访问http://127.0.0.1:8000页面能正常显示说明静态文件挂载没问题。测接口先用浏览器页面随便填一个提示词点「开始生成」。等首次推理完成首次加载 SDXL 模型可能耗时 20-60 秒别以为死机了。看输出目录outputs/images下出现 PNG 文件页面同时显示图片说明整条链路全通。首次跑通了后面加视频接口就是复刻同样的流程。我一般会先用一张最简单的图确认管线通再去调风格、换模型、加 LoRA避免一上来就调高级参数出了问题分不清是参数问题还是链路问题。这也是我踩了多次坑之后固定的调试顺序。4. 参数就该这样调生图生视频的推荐配置与效果对比网站跑起来了但生成效果能不能达到可用标准参数调优占了七成功夫。这一章我把文生图和视频生成的关键参数、推荐区间、调高调低分别发生什么讲透。4.1 文生图三件套步数、CFG 与采样器文生图有几个人人都听过的参数但理解到位的人不多。步数num_inference_steps控制的是去噪过程的细化程度。步数太少画面会出现未去噪干净的雾感步数太多推理时间线性增长画质在 30 步后基本不再提升。我的经验是 SDXL 用 25-30 步SD 1.5 用 25 步左右超过 40 步纯属浪费电。CFG 是提示词与生图的贴合度。设低了画面会自由发挥提示词里的主体可能消失设高了画面出现过度饱和、伪影、边缘发光。7.0-8.0 之间是多数模型的安全区。有些新模型配合 CFG 的变体算法比如 DPM 家族可以调到 4-5 还能保持结构稳定但那是少数。采样器是隐藏的变量。同一个提示词、同一个步数采用 Euler a 和 DPM 2M Karras 出来的画面风格明显不同。Euler a 速度快、随机性强适合快速试稿DPM 2M Karras 画质细腻、边缘干净是 SDXL 上我默认的选择。这里有一个容易被忽略的点不同 diffusers 版本的采样器实现有细微差异你升级 diffusers 版本后同样的采样器名字出图效果可能变化这是正常的不用慌。各参数一栏推荐区间参数推荐区间说明步数25-30超过 40 步收益极低CFG7.0-8.0数值越高越贴提示词但也越容易脏采样器DPM 2M Karras画质与速度的平衡点分辨率1024x1024SDXL 原生档位构图最稳负面提示词blurry, low quality必填能显著拉高成片率4.2 视频生成帧数、步数与运动强度视频生成多了两个关键参数帧数和运动强度。帧数决定了视频时长当前消费级显卡环境下 8-16 帧是甜点区间。AnimateDiff 在 16 帧时模型需要为每一帧做一次去噪实际耗时约等于单图生成时间乘以帧数再打个折扣所以 16 帧通常要一到三分钟。超过 24 帧显存压力陡增16GB 显存基本到极限。运动强度相关参数在 AnimateDiff 里通常通过 motion adapter 的配置控制少数实现在推理参数里直接暴露。运动强度调高画面动感明显但容易变形调低视频更稳但可能只是微动。我一般在 1.0 附近起调效果不满意再左右试探。视频生成的步数建议比图像生成略低16-20 步足够。原因是视频生成的计算量更大步数翻倍意味着生成时间近乎翻倍而画面质量在 20 步之后的提升远不如图像生成那么显著。CFG 同理7.0 左右比较稳过高会让相邻帧之间闪烁加剧。帧率在写视频文件时设定。常见做法是 8 帧每秒或 10 帧每秒16 帧对应 1.6-2 秒的视频作为预览完全够用。如果你要的是可发布的短视频我建议生成多段再剪辑拼接而不是硬拉高帧数。4.3 分辨率与显存取舍不做脱离硬件的配置参数调优最后要回到硬件现实。本地部署最常见的分水岭是显存8GB 以下基本告别 SDXL 和 AnimateDiff 的组合老老实实跑 SD 1.58-12GB 能跑 SDXL 但图像分辨率不能太高视频生成建议 512x51216GB 以上才谈得上流畅跑 SDXL 16 帧视频。显存不足时先砍分辨率再砍帧数最后才砍步数。分辨率的显存开销是平方级增长的1024x1024 降到 768x768 释放的显存立竿见影。帧数每加一帧相当于多一张图同时驻留显存也是线性增长。步数对显存影响很小主要影响时间。用 nvidia-smi 实时观察显存占用是调参时的基本操作。生成前看一眼空闲显存生成过程中看一眼峰值占用能帮你快速定位是显存不够还是模型加载的问题。业内有句玩笑说「本地部署的尽头是显存」这句话真不是危言耸听。5. 避坑别硬踩本地化部署最常见的 6 个翻车现场把实践里各环节的常见问题按「现象 → 原因 → 解决」写出来每一条都是真金白银换来的经验。新手遇到问题时按这个清单逐条排查会有很大帮助。5.1 第 1 坑生成时报 CUDA out of memory现象接口报错torch.OutOfMemoryError: CUDA out of memory有时连页面都卡住。原因显存被一张图或一帧视频占满又有其他进程在吃显存。最常见的是浏览器开太多标签页、同时跑了多个生成任务、或者另一个 Python 进程没释放内存。解决先用nvidia-smi -l 1实时看显存占用找到罪魁祸首。如果是其他进程占显存杀掉。然后按 4.3 节的顺序降分辨率、降帧数再不行就在加载模型时打开pipe.enable_model_cpu_offload()它的作用是把不用的模型块放回内存显存占用能降 30%-50%代价是每轮生成前要搬一次数据速度变慢。5.2 第 2 坑提示词写得很细出图却跑题严重现象输入了一大段精心设计的提示词结果图里只有一半的元素体现出来了甚至主体物直接消失。原因两个可能性。一是 CFG 设太低低于 6模型对提示词的遵从度不够二是采样器选错某些采样器对复杂提示词的响应天然迟钝。还有一个隐蔽因素中文提示词和英文模型之间的语义理解落差。解决把 CFG 提到 8 左右再试换成 DPM 2M Karras 或 DDIM如果用的是中文提示词先翻译成英文再生成SD 系模型的文本编码器基本只认英文语义。这个坑最容易被以为是模型问题实际多半是参数和语言问题。5.3 第 3 坑首次生成要等几分钟以为死机了现象点下生成按钮后页面长时间无响应有人会直接关掉页面甚至重启服务。原因模型文件没有提前加载到内存首次推理要完成权重加载、文本编码器初始化、CUDA 图构建等一长串准备工作。SDXL 模型文件 6-7GB从磁盘读到显存本身就慢再加上 PyTorch 的首次推理会做 kernel 预热慢上加慢。解决启动服务时额外加一个预热接口在start.sh里先跑一次最小推理再启动 web 服务。代码上把模型加载逻辑收进 load_pipeline并在服务启动事件里提前调一次from contextlib import asynccontextmanager asynccontextmanager async def lifespan(app: FastAPI): load_pipeline() yield app FastAPI(lifespanlifespan)这样服务一启动就开始加载模型用户体验是第一次访问页面就很快。没做预热时第一个请求打进来到出图往往要一两分钟做了预热后只需十秒内。5.4 第 4 坑同一个局域网别人的电脑访问不了这个网站现象电脑 A 启动服务后电脑 B 通过http://192.168.x.x:8000访问超时但 A 自己访问 127.0.0.1 正常。原因uvicorn 默认绑定 127.0.0.1只监听本机回环地址。你看到 start.sh 里--host 0.0.0.0但很多新手自己启动时直接敲uvicorn web.app:app默认就会绑到 127.0.0.1 上。另外还有防火墙拦 8000 端口的可能。解决确认启动命令带--host 0.0.0.0Windows 系统在防火墙里放行 Python 或 8000 端口然后查 A 电脑的局域网 IPWindows 用 ipconfigLinux 用 hostname -IB 访问时用这个 IP。注意同一局域网才能访问跨网络访问需要端口转发或内网穿透不在本文范围。5.5 第 5 坑视频生成出来像幻灯片画面几乎没有动现象视频文件能播但画面基本静止只有细微的闪烁和抖动完全不像「动起来」。原因AnimateDiff 的运动能力受 motion adapter 控制如果你的 adapter 版本与基础模型不匹配运动权重没有正确加载模型只剩文生图能力。另一个可能是帧数设太短4-6 帧实在看不出连续运动。解决确认 motion adapter 与基础模型匹配官方发布的 adapter 都会注明所适配的模型版本不一致时 diffusers 不报错但效果不对。把 num_frames 调到 16帧率设为 8-10 FPS运动强度参数确认生效。我见过最离谱的一次是加载了错误的 adapter 文件生成出来的视频除了噪点没任何运动排查半天才意识到是模型文件本身下错了。5.6 第 6 坑模型下载总是中断或几十 KB/s现象from_pretrained下到一半连接断开模型文件损坏反复重下浪费时间。原因模型权重文件动辄几个 GB托管在境外服务器上直接下载容易断。很多教程让新手直接跑from_pretrained(stabilityai/stable-diffusion-xl-base-1.0)就是从 HuggingFace 拉网线。解决先把模型文件手动下载到本地再用from_pretrained指定本地目录加载。手动下载时用 hf-mirror 这类国内镜像源把模型文件下到本地后你可以得到一个完整的目录结构直接放到 models/sdxl 下然后代码里改为StableDiffusionXLPipeline.from_pretrained(models/sdxl)不需要再走网络。每次网络下载失败都会留下损坏的缓存文件最好定期清理.cache/huggingface目录否则会自动复用损坏文件导致报错。6. 进阶玩法与实践习惯从能出图到出好图站点已经能跑常规生图生视频可控了。最后这一章聊怎么把工具的产出质量和工作效率再往前推一步。批量生成是本地化网站最容易做出差异化的能力。云 API 批量生成是按并发和每张图计费本地跑则可以在脚本里循环调接口一次跑一个风格系列。一个小技巧是固定随机种子让同一提示词在相同参数下生成同一张图用于对比参数影响非常实用。代码里把generatortorch.Generator().manual_seed(42)传给 pipeline每次结果就是可控的复现。给网站接入 LoRA 是提升风格一致性的常用手段。个人或企业可以用同一角色、同一产品的大量图片微调出专属 LoRA网站运行时通过接口参数把特定 LoRA 文件名传进 pipeline就能稳定输出品牌风格的素材。这一步的工程量不大但效果对比非常直观值得投入。验证生成效果不要只看感觉。图像侧可以记录每次生成的参数和结果图定期做一轮小样本对比用盲评方式选出当前模型、采样器、步数的最好组合然后固定下来作为默认参数。视频侧重点看两件事动起来是否自然、有没有变形。这个只能靠人眼抽帧检查没有捷径。我没有把历史记录功能抢在第一章就做完结果是团队同事反复来问“上次那张图用的什么参数”每次都翻半天截图记录后来花了半小时把提示词、参数、结果 URL 存进 SQLite才彻底止损。这些工具网站能不能留得住人往往就差在这种细节上。搭建本地化图文视频生成网站的可控性还体现在模型的随时替换上。模型更新了、社区出现了更好的微调版本直接把新的权重文件放进 models 目录配置改一行指向新路径就能无缝切换。你掌握的不是一个固定工具而是一套可以持续更新的本地生成基础设施。希望这些经验和踩坑记录能帮你少走一段弯路把一台普通 GPU 机器变成真正属于你自己的生成工作室。本文还有配套的精品资源点击获取