LTX-2：革命性AI音视频生成模型入门指南

LTX-2：革命性AI音视频生成模型入门指南

LTX-2是由Lightricks开发的基于DiT架构的音视频基础模型，能够在单一模型中生成同步的视频和音频内容。这款革命性AI音视频生成模型带来了现代视频生成的核心构建模块，采用开放权重设计并专注于本地高效执行，为创作者提供了强大的音视频创作工具。

🌟 LTX-2模型亮点

LTX-2作为高效的联合音视频基础模型，具备多项令人瞩目的功能：

• 多模态生成能力：支持图像到视频、文本到视频、视频到视频、图像文本到视频等多种生成模式，同时还能处理音频相关的生成任务，如文本到音频、视频到音频等。
• 高效本地执行：模型设计考虑了本地运行的实用性，提供多种量化版本以适应不同硬件环境。
• 开放权重：开放的模型权重方便开发者进行研究和二次开发。

📁 模型 checkpoint 选择

LTX-2提供了多种模型 checkpoint 以满足不同需求：

🚀 快速开始使用

在线体验

无需本地安装，可直接通过以下链接体验LTX-2的强大功能：

• LTX-Studio文本到视频
• LTX-Studio图像到视频

本地运行

许可证

使用模型（完整模型、蒸馏模型、上采样器及任何模型衍生物）需遵守LICENSE中的规定。

ComfyUI

推荐使用ComfyUI Manager中内置的LTXVideo节点。有关手动安装信息，请参考官方文档。

PyTorch代码库

LTX-2代码库是一个包含多个包的单体仓库，从'ltx-core'中的模型定义到'ltx-pipelines'中的管道，再到'ltx-trainer'中的训练功能。代码库已在Python >=3.12、CUDA版本>12.7环境下测试，并支持PyTorch ~= 2.7。

安装步骤：

git clone https://gitcode.com/hf_mirrors/Lightricks/LTX-2 cd LTX-2 # 从仓库根目录 uv sync source .venv/bin/activate

推理： 要使用模型，请按照ltx-pipelines包中的说明操作。

Diffusers 🧨

LTX-2支持在Diffusers Python库中进行文本和图像到视频的生成。有关更多信息，请查看LTX-2与diffusers的使用文档。

💡 使用小贴士

• 宽度和高度设置必须能被32整除。帧数必须能被8 + 1整除。
• 如果分辨率或帧数不能被32或8 + 1整除，输入应填充-1，然后裁剪到所需的分辨率和帧数。
• 关于编写有效提示词的技巧，请参考提示词指南。

⚠️ 模型局限性

• 本模型不旨在也不能提供事实信息。
• 作为统计模型，此checkpoint可能会放大现有的社会偏见。
• 模型可能无法生成与提示完全匹配的视频。
• 提示词遵循度很大程度上受提示风格的影响。
• 模型可能生成不适当或冒犯性的内容。
• 在生成无语音音频时，音频质量可能较低。

📚 引用

如果您在研究中使用了LTX-2，请引用以下论文：

@article{hacohen2025ltx2, title={LTX-2: Efficient Joint Audio-Visual Foundation Model}, author={HaCohen, Yoav and Brazowski, Benny and Chiprut, Nisan and Bitterman, Yaki and Kvochko, Andrew and Berkowitz, Avishai and Shalem, Daniel and Lifschitz, Daphna and Moshe, Dudu and Porat, Eitan and Richardson, Eitan and Guy Shiran and Itay Chachy and Jonathan Chetboun and Michael Finkelson and Michael Kupchick and Nir Zabari and Nitzan Guetta and Noa Kotler and Ofir Bibi and Ori Gordon and Poriya Panet and Roi Benita and Shahar Armon and Victor Kulikov and Yaron Inger and Yonatan Shiftan and Zeev Melumian and Zeev Farbman}, journal={arXiv preprint arXiv:2601.03233}, year={2025} }

LTX-2为音视频创作领域带来了革命性的变化，无论是专业创作者还是AI爱好者，都能通过这款强大的模型释放创意潜能。立即开始探索LTX-2的无限可能吧！