Stability AI generative-models 完整指南从环境搭建到跑通首个视频生成【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsgenerative-models 是什么能帮你做什么generative-models 是 Stability AI 生成模型的官方开源仓库代码以sgm包发布当前版本 0.1.0要求 Python ≥3.8。它覆盖从文本生成图像SDXL、图像生成视频SVD、SV3D到视频生成 4D 内容SV4D 2.0的完整链路权重统一放在 Hugging Face 的 stabilityai 组织下。代码库采用配置驱动的方式模型由configs/下的 YAML 通过instantiate_from_config()组装采样器、引导器与网络解耦改采样步数或引导强度只需动配置文件。日常使用有两个入口scripts/sampling/下的命令行脚本和scripts/demo/下的 streamlit 页面。各模型的输入输出规格如下均来自 README 的官方说明模型输入输出分辨率SDXL base 1.0文本提示词图像1024×1024SVD单张图像14 帧视频576×1024SVD-XT单张图像25 帧视频576×1024SV3D单张图像21 帧环绕视频576×576SV4D5 帧视频40 帧5 帧 × 8 视角576×576SV4D 2.012 帧视频48 帧12 帧 × 4 视角576×576开始之前3 分钟确认环境动手前确认三件事避免装到一半返工Python 版本README 明确环境在python3.10下测试过其他版本可能出现依赖冲突。先确认本机有 python3.10。GPU 与 CUDA推理脚本默认使用cuda设备torch 需要按你的 CUDA 版本安装README 示例用的是 cu118 索引源。权重可下载模型权重托管在 Hugging Face需下载后放入仓库的checkpoints/目录部分模型如 SDXL 0.9 系列需先申请权限提前确认账号可访问。完整操作流程如何搭建 python3.10 虚拟环境并安装 sgm 依赖先克隆仓库并进入目录之后所有命令都以仓库根目录为工作目录git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models成功的标志是ls能看到sgm/、configs/、scripts/这几个目录。接着创建虚拟环境并依次安装先装对应 CUDA 的 torch再装requirements/pt2.txt里的其余依赖最后pip3 install .安装仓库自带的 sgm 包python3.10 -m venv .pt2 source .pt2/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install .装完后在环境里执行import sgm不报错就说明安装正常。如果后续要训练而不只是推理还需要按 README 的 sdata 步骤额外安装官方数据管道包。如何把权重放进 checkpoints 并跑通 SV4D 2.0 推理各采样脚本的模型配置如scripts/sampling/configs/sv4d2.yaml把权重路径固定为checkpoints/sv4d2.safetensors所以先按这个文件名把权重下到位huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints完成后checkpoints/目录里应出现sv4d2.safetensors。之后想核对完整性时可用sha256sum计算文件哈希与 README 公布的 File Hash 对比例如 SDXL base 1.0 为31e35c80fc4829d14f90153f4c74cd59c90b779f6afe05a74cd6120b893f7e5b不一致说明文件损坏重新下载即可。仓库自带示例输入直接执行 QUICKSTART 命令用内置的示例视频做条件输入python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs默认采样 50 步、输出分辨率 576×576。成功标志是outputs/下生成一组000000_v000.mp4命名的文件对应 4 个新视角的视频。如果更习惯页面交互可以启动 streamlit 演示它支持 SVD 与 SV3D 的采样streamlit run scripts/demo/video_sampling.py浏览器打开页面、出现图像上传区即表示就绪。常见问题与排查现象生成时报 CUDA out of memory。原因encoding_t、decoding_t的默认值一次编解码多帧脚本注释明确说这两项最吃显存。处理加--encoding_t1 --decoding_t1或用--img_size512降低分辨率。现象启动时报找不到 checkpoint 或加载模型失败。原因权重文件名或位置与 yaml 配置里的路径不一致该路径是相对仓库根目录的。处理按上一节重新下载确认文件就放在checkpoints/下且文件名完全一致不要多套一层目录。现象pip 安装依赖时反复出现版本冲突。原因虚拟环境没用 python3.10 创建而 README 只保证 3.10 下可用。处理删掉现有环境按前面步骤用python3.10 -m venv重建后重装。下一步去哪想换模型用scripts/sampling/simple_video_sample.py的--version参数切换svd、sv3d_u等版本各模型的 yaml 在 scripts/sampling/configs/ 目录。想自己训练从 configs/example_training/toy/mnist_cond.yaml 这类小数据集配置入手用python main.py --base config启动非 toy 配置里有USER:注释标记需要按数据集修改。想理解内部实现读 sgm/modules/diffusionmodules/其中denoiser.py、sampling.py、guiders.py分别对应仓库去噪器、采样器、引导器解耦的核心设计。权重放进checkpoints/后SVD 和 SV3D 的跑法与上面完全一致。建议先把 SV4D 2.0 这个例子跑通再按兴趣切换模型。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考