从零开始部署Open-Sora 2.0一步步搭建你的视频生成AI平台终极指南【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora你是否也遇到过这样的困境看到网上各种惊艳的AI视频生成效果想自己动手部署一个却发现要么是闭源付费产品要么是开源项目却文档散乱、依赖复杂装到一半就卡住了别担心这篇文章就是为你准备的。Open-Sora是一个开源的高效视频生成项目它能让你用一句话、一张图就能生成属于自己的高质量视频。接下来我会带你从环境搭建到跑出第一段视频一步步走完全流程让你真正拥有自己的视频生成能力。读完本文你将收获一份清晰的行动路线图准备阶段搭好 Python 和 GPU 环境下载代码安装依赖上手阶段下载预训练模型用最短路径跑通第一段文生视频进阶阶段玩转图像生成视频、批量生成、分辨率与帧数调节、多 GPU 加速问题专区常见报错和踩坑点集中解答。全程以你为主角跟着命令走就行开始吧第一阶段准备——把地基打牢动手之前先确认两件事你的电脑能不能跑、用什么环境跑。系统要求自查你的机器够格吗Open-Sora 基于 Python 和 PyTorch 构建需要 GPU 做计算。最低要求如下操作系统Linux推荐 Ubuntu 20.04 及以上Python 版本3.10显卡支持 CUDA 的 NVIDIA 显卡显存建议 16GB 以上CUDA 版本12.1 或更高如果你还没有 Python 3.10Ubuntu 下可以这样装sudo apt update sudo apt install python3.10 python3.10-venv python3.10-dev装完 Python 后别忘了确认显卡驱动和 CUDA 是否正常运行nvidia-smi能看到显卡信息就说明环境没问题。创建虚拟环境为什么一定要隔离视频生成项目依赖非常多直接装进系统 Python 很容易和别的项目打架。虚拟环境就是给 Open-Sora 单独盖一个小房间互不干扰。这里以 conda 为例# 创建名为 opensora 的虚拟环境 conda create -n opensora python3.10 # 激活它之后所有命令都在这个环境里执行 conda activate opensora成功标志命令行前面出现了(opensora)前缀。获取代码克隆仓库到本地现在把项目源码拉到本地。仓库地址是https://gitcode.com/GitHub_Trending/op/Open-Soragit clone https://gitcode.com/GitHub_Trending/op/Open-Sora cd Open-Sora成功标志进入目录后你能看到configs/、scripts/、opensora/等文件夹其中scripts/diffusion/inference.py就是后面我们要反复使用的推理入口脚本。第二阶段上手——让你的第一段视频诞生这个阶段的目标很简单跑通一条命令看到输出文件。建议先完成最小闭环再回头补细节。安装依赖三行命令搞定核心环境项目把主要依赖都写在requirements.txt里核心包括 torch、colossalai、mmengine 等。安装时要注意torch 版本必须 2.4.0因为 Open-Sora 的模型结构和加速逻辑依赖较新版本的 PyTorch。# 以可编辑模式安装项目本身会自动拉取 requirements.txt 里的依赖 pip install -v . # 安装 xformers请根据你的 CUDA 版本选择对应安装命令cu121 是 CUDA 12.1 pip install xformers0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121 # 安装 flash-attn 加速注意力计算 pip install flash-attn --no-build-isolation预期输出三条命令都成功结束没有红色报错。第一行命令会看到项目被安装到当前环境的日志。如果你想让生成速度再快一点可以额外安装 Flash Attention 3可选git clone https://github.com/Dao-AILab/flash-attention # 4f0640d5 cd flash-attention/hopper python setup.py install下载模型从 Hugging Face 或 ModelScope 任选模型是视频生成的核心Open-Sora 2.0 的 11B 模型同时支持 256px 和 768px 分辨率而且文生视频T2V和图生视频I2V共用这一个模型很省心。下载方式按你的网络环境二选一。方式一Hugging Facepip install huggingface_hub[cli] huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts方式二ModelScope国内网络更友好pip install modelscope modelscope download hpcai-tech/Open-Sora-v2 --local_dir ./ckpts成功标志模型文件完整下载到./ckpts目录下。这里要留意配置文件默认会从./ckpts读取多个组件包括Open_Sora_v2.safetensors主模型、hunyuan_vae.safetensors视频 VAE、google/t5-v1_1-xxl文本编码器和openai/clip-vit-large-patch14CLIP 编码器具体路径定义在configs/diffusion/inference/256px.py里。提示./ckpts是相对路径所以后面运行推理命令时记得保持在 Open-Sora 项目根目录下执行。第一次文生视频见证魔法时刻模型下载完成后就可以生成你的第一段视频了。执行下面的命令生成一段 256x256 分辨率的视频torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea来拆解一下这条命令让你知道每一段在做什么torchrun --nproc_per_node 1 --standalone以单 GPU 方式启动 PyTorch 分布式任务scripts/diffusion/inference.py推理脚本也就是我们项目的运行入口configs/diffusion/inference/t2i2v_256px.py配置文件。你可能注意到它叫 t2i2v这是因为项目采用了文本生成图片、再用图片生成视频的两段式管线先用 Flux 模型把文字变成高质量首帧再让视频模型动起来这样生成的视频质量更高--save-dir samples结果保存到samples目录--prompt raining, sea你的提示词描述想要的内容。成功标志终端显示推理进度条走到 100%日志出现 Inference finished.然后在samples/下多出一个视频文件。第一次跑起来会看到模型加载和中间图像生成的日志属正常现象。第三阶段进阶——把 Open-Sora 玩出花样第一段视频跑通后恭喜你已经迈过了最难的坎这个阶段我们把各种玩法过一遍你会发现它比想象中灵活得多。图像生成视频I2V让一张照片动起来Open-Sora 支持以一张参考图为起点生成视频这对控制画面内容特别有用。项目自带了一张小猪在泥坑里的示例图先用它试手torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/256px.py --cond_type i2v_head --prompt A plump pig wallows in a muddy pond on a rustic farm --ref assets/texts/i2v.png注意这里和文生视频的两处不同--cond_type i2v_head指定条件类型为图像引导视频--ref assets/texts/i2v.png传入参考图的相对路径。这张示例图长这样一只粉鼻头的小猪泡在泥水里阳光正好画面充满田园气息。你完全可以把--ref换成自己的照片试试预期输出samples/下出现以该图片为起点的动态视频。用 CSV 批量生成一次跑一批提示词手动一条条敲命令太累了吧Open-Sora 支持把多个提示词放进 CSV 文件批量生成。项目自带的assets/texts/example.csv里就准备了 8 个风格迥异的提示词从赛博朋克人物到红色跑车、番茄冲浪应有尽有torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --dataset.data-path assets/texts/example.csv成功标志推理进度条一条条推进每个提示词都对应生成一段视频。想自定义批量任务时照葫芦画瓢建一个 CSV 即可第一列写text下面每行一个提示词带引号。调节分辨率、宽高比和视频长度想让视频更电影感Open-Sora 对分辨率和时长都提供了灵活配置# 生成 16:9 宽高比、65 帧的视频 torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea --aspect_ratio 16:9 --num_frames 65几个要点帮你避坑--aspect_ratio可选值包括16:9、9:16、1:1、2.39:1--num_frames要满足4 的倍数加 1并且小于 129比如 65、97 都可以256px 和 768px 分别对应配置文件t2i2v_256px.py和t2i2v_768px.py需要哪个就用哪个。内存不够用 offload 换显存如果你的显存比较紧张加载模型时可以把暂时不用的部分挪到 CPU用一点速度换显存空间torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea --offload True预期效果生成速度略有下降但显存占用明显降低不容易 OOM 崩溃。多 GPU 加速高分辨率视频的正确打开方式768px 分辨率对显存和算力要求更高如果机器上有 8 张 GPU可以用--nproc_per_node 8分布式并行torchrun --nproc_per_node 8 --standalone scripts/diffusion/inference.py configs/diffusion/inference/768px.py --prompt raining, sea官方在 H100/H800 上的测试数据很直观256x256 单卡约 60 秒、峰值显存 52.5GB768x768 单卡要 1656 秒8 卡并行直接缩短到 276 秒显存还稳定在 44GB 左右。多卡不只是快还能让本来跑不动的分辨率变得可行。进阶控制运动分数与提示词优化运动分数Motion Score训练时模型会把运动强度写进提示词推理时你可以手动指定默认是 4torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea --motion-score 4分数越高画面动得越厉害1 到 7 分别对应静态到剧烈运动。提示词优化Prompt Refine觉得自己的提示词写得不精致设置好 OpenAI API Key 后可以让 ChatGPT 帮你把提示词润色后再生成export OPENAI_API_KEYsk-xxxx torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea --refine-prompt True复现实验结果想固定随机种子、保证结果可复现可以加--sampling_option.seed 42 --seed 42每个提示词想多生成几份就加--num-sample k。常见问题专区最容易踩的坑都在这里Q1安装依赖时报 torch 版本冲突先确认环境里有没有旧版本 torch建议在干净的 conda 环境里执行pip install -v .。要求 torch 2.4.0如果 pip 解析出旧版本先手动升级pip install torch2.4.0 torchvision0.19.0。Q2运行时报找不到模型文件九成是./ckpts路径问题。检查ckpts目录是否在项目根目录下、模型文件是否完整。如果从 ModelScope 下载注意目录结构是否和配置里from_pretrained的路径一一对应。Q3显存不足OOM怎么办先把分辨率降到 256px再给命令加上--offload True。还不行就减少--num_frames比如从 129 降到 65帧数减半、显存压力立减。Q4xformers 和 CUDA 版本不匹配--index-url https://download.pytorch.org/whl/cu121是针对 CUDA 12.1 的。如果你的 CUDA 是其他版本请到 PyTorch 官网选择对应版本的安装命令不要硬装。Q5想要训练或微调自己的模型训练入口在scripts/diffusion/train.py配置文件在configs/diffusion/train/如stage1.py、stage2.py。训练前需要额外安装 TensorNVMe用于高效保存 checkpoint和 pandarallel用于并行数据处理然后准备符合path,text,num_frames,height,width,...格式的数据集。完整的训练微调步骤见项目文档 docs/train.md建议先把推理玩熟了再进军训练。写在最后你的下一步到这里你已经完成了从环境搭建、模型下载到跑通文生视频、图生视频的全部流程。回顾一下核心要点环境先行Python 3.10 虚拟环境 CUDA 12.1 以上是顺利安装的前提依赖三步走pip install -v .装基础依赖再补 xformers 和 flash-attn模型是重头用 Hugging Face 或 ModelScope 把 11B 模型下到./ckpts先跑通再优化第一条 T2V 命令是里程碑之后再去折腾分辨率、批量、多卡这些进阶配置。视频生成这个领域发展飞快Open-Sora 也一直在迭代。下一步你可以试着用--ref传入自己的图片做 I2V或者用 CSV 批量生成一组主题视频想深入理解原理可以读一读项目里的docs/技术报告想进一步训练自己的模型官方文档里也有分步教程。别忘了关注项目动态跟着版本更新一起成长。如果这篇文章帮到了你记得点赞、收藏、关注让更多想入门 AI 视频生成的朋友少走弯路。期待在评论区看到你用 Open-Sora 生成的第一个作品【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考