LTX-2 部署完全指南:从 22B 检查点下载跑到第一条音视频
LTX-2 部署完全指南从 22B 检查点下载跑到第一条音视频【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2LTX-2 是 Lightricks 的音视频生成模型拥有 220 亿参数可以从文本或图像生成画面并同步产出对应的声音轨道。本文以跑通第一条视频为目标倒推把 LTX-2 模型下载和 LTX-2 部署过程中最常被卡住的环节一次讲清到底要拿哪几个文件、显存和磁盘要准备多少、生成命令怎么拼、显存不够时有哪些开关可以打开。 先定目标按使用场景选管道部署之前先想清楚要做什么因为不同的生成任务对应不同的推理管道下载的文件清单和启动命令都不一样。仓库内所有管道都可以直接用python -m启动完整清单见 安装与使用文档。管道模块适用场景说明ltx_pipelines.ti2vid_two_stages生产级文本/图像到视频两阶段流程质量最好本文主角ltx_pipelines.distilled快速推理只用蒸馏模型速度最快ltx_pipelines.ic_lora视频到视频转换基于参考视频/图像做风格或内容迁移ltx_pipelines.a2vid_two_stage音频到视频以一段输入音频为条件生成视频建议新手先跑ti2vid_two_stages它能覆盖最常见的文生视频需求而且后面学的所有调优手段量化、offload、引导参数在这条管道上都能用上。 LTX-2 模型下载22B 检查点与配套文件清单LTX-2 模型下载一共涉及四类文件全部存放在 Hugging Face 的Lightricks/LTX-2.3仓库中可以用huggingface-hub库的snapshot_download拉取也可以直接在浏览器里下载。1. 主模型检查点二选一ltx-2.3-22b-dev.safetensors开发版本功能完整配合两阶段引导管道使用ltx-2.3-22b-distilled-1.1.safetensors蒸馏版本——可以理解为把大模型压缩后的小模型用更少的推理步数就能逼近原模型效果适合追求速度的场景2. 空间上采样器两阶段管道必需ltx-2.3-spatial-upscaler-x2-1.1.safetensors2 倍上采样ltx-2.3-spatial-upscaler-x1.5-1.0.safetensors1.5 倍上采样两阶段管道的第二阶段会用它把分辨率放大最终画面清晰度主要靠它。3. 蒸馏 LoRA两阶段推理必需ltx-2.3-22b-distilled-lora-384-1.1.safetensorsLoRA 是一组体积很小的适配器权重。这个蒸馏 LoRA 挂在第二阶段的完整模型上相当于把蒸馏模型学到的少步数生成能力借给 dev 检查点用命令里会跟一个强度值如 0.8控制它的作用力度。4. Gemma 文本编码器需要下载完整的 Gemma 3 12B 模型推荐目录为gemma-3-12b-it-qat-q4_0-unquantized来自 Hugging Face 的google/gemma-3-12b-it-qat-q4_0-unquantized仓库注意是整仓库而非单个文件。建议按下图组织目录后面启动命令直接指向models/models/ ├── ltx-2.3-22b-dev.safetensors ├── ltx-2.3-spatial-upscaler-x2-1.1.safetensors ├── ltx-2.3-22b-distilled-lora-384-1.1.safetensors └── gemma-3-12b-it-qat-q4_0-unquantized/️ 环境准备克隆仓库、装依赖、确认硬件克隆仓库并安装依赖uv会锁住依赖版本避免环境漂移git clone https://gitcode.com/GitHub_Trending/lt/LTX-2 cd LTX-2 uv sync --frozen source .venv/bin/activate硬件与软件基线GPU 显存至少 24GB推荐 32GB 以上磁盘模型文件约 40GB建议预留 100GB 可用空间系统推荐 LinuxUbuntu 20.04macOS 和 Windows 可通过 Docker 运行软件Python 3.10、PyTorch 2.0CUDA 11.8 跑第一条视频两阶段管道启动命令文件就位后用下面的命令完成第一次生成分辨率和帧数故意调小确保先跑通再谈质量python -m ltx_pipelines.ti2vid_two_stages \ --checkpoint-path models/ltx-2.3-22b-dev.safetensors \ --distilled-lora models/ltx-2.3-22b-distilled-lora-384-1.1.safetensors 0.8 \ --spatial-upsampler-path models/ltx-2.3-spatial-upscaler-x2-1.1.safetensors \ --gemma-root models/gemma-3-12b-it-qat-q4_0-unquantized \ --prompt A beautiful sunset over the ocean with gentle waves \ --output-path output.mp4 \ --height 512 \ --width 768 \ --num-frames 97 \ --frame-rate 25几个参数约定值得记住帧数遵循 8k1 格式97 帧约为 24fps 下的 4 秒193 帧约为 8 秒分辨率取 32 的倍数512×768、768×512、1024×576 都是合法组合--num-frames、--seed、--output-path这类参数对任意管道通用加--help可以看到当前管道支持的全部选项如果首次运行只是为了验证环境也可以把分辨率和帧数再压低一档确认输出正常后再逐步放大。⚙️ 引导参数怎么调CFG、STG 与模态强度两阶段管道对视频和音频分别有一组引导参数MultiModalGuiderParams参考实现见 ti2vid_two_stages.py。默认取值大致是视频侧cfg_scale3.0文本引导强度、stg_scale1.0、rescale_scale0.7、modality_scale3.0、stg_blocks[29]音频侧cfg_scale7.0其余与视频侧相同用大白话说cfg_scale控制多听话数值越高画面越贴合提示词但过高会出现过饱和和伪影stg_blocks指定在哪些网络层施加空间时间引导STGmodality_scale则协调音视频两个模态之间的耦合。音频需要更强的引导7.0 对 3.0是因为声音细节更容易跑偏。新手先用默认值发现画面不听提示词时再往上加cfg_scale发现音画对不上时优先调modality_scale。 显存不够怎么办LTX-2 FP8 显存优化22B 参数对消费级显卡不友好仓库提供了几层递进的开关FP8 量化加--quantization fp8-cast加载时把 bf16 权重即时降为 FP8显著降低显存占用。若你在 Hopper 及以上的卡上、且手里有 FP8 检查点可以换--quantization fp8-scaled-mm走原生 FP8 矩阵乘性能更好权重卸载--offload cpu把 transformer 权重留在内存里按需搬运显存极紧时还有--offload disk从磁盘流式读取更慢但能活下来减少推理步数用梯度估计gradient estimation把去噪步数从 40 步压到 20–30 步质量损失可控原理与用法见 优化文档跳过阶段间内存清理显存充裕时禁用管道阶段之间的自动清理可以省时间显存紧张则保持默认选更快的管道只求速度直接用ltx_pipelines.distilled蒸馏检查点 少量固定步数追求极致速度时再考虑安装注意力后端——数据中心 BlackwellB200可装 FlashAttention 4Hopper 装 FlashAttention 3其他 CUDA 卡会自动落到 PyTorch SDPA再配合torch.compile编译优化 部署问题速查症状处理方式模型文件不完整、加载报缺失张量改用huggingface-hub的snapshot_download重新完整拉取下载慢或中断设置代理或改用国内镜像站点拉取 Hugging Face 文件CUDA out of memory依次叠加--quantization fp8-cast与--offload cpu或disk或降低分辨率/帧数依赖冲突、环境装不上确认用uv管理并激活了.venv不要在系统 Python 里直接 pip模型加载失败核对文件是否下载完整大小与官方一致以及四个路径参数是否指向真实位置视频质量差增加推理步数到 40–50 步音画不同步调整音视频模态引导参数modality_scale分辨率偏低确认第二阶段使用了空间上采样器--spatial-upsampler-path 下一步训练自己的 LoRA 与延伸阅读跑通推理之后下一步通常是微调。训练配置目录 里有一批开箱即用的 YAMLt2v_lora.yaml用于文本到视频 LoRAt2v_lora_low_vram.yaml是低显存版本v2v_ic_lora.yaml面向 IC-LoRA 视频到视频训练。训练流程与数据集准备见 ltx-trainer 文档。其他值得常翻的入口LTX-Core 文档核心模型结构、VAE、加载器与量化实现管道清单与参数文档每条管道的输入输出与专属参数HDR 支持EXR 输入与 BT.2020/HLG 输出的进阶玩法最后一条实操建议第一次部署务必用小的分辨率和帧数验证全链路检查点、LoRA、上采样器、Gemma 目录四个路径缺一不可确认输出正常后再上 1024×576 以上的正式规格。【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考