用 Diffusers 进行视频生成推理
输入“/”快速插入内容
用 Diffusers 进行视频生成推理
用 Diffusers 进行视频生成推理
用户6177用户6177
用户2250用户22502024年8月29日修改
使用 Huggingface Diffusers Pipeline 生成视频，并保存为 MP4 格式。
在开始之前，确认diffusers>=0.30.1已安装，并且在diffusers 0.31.0 发布后需更新。
代码块
pip install diffusers>=0.30.1
使用 CLI 运行推理
用命令行界面（CLI）运行推理脚本，从文本提示中生成视频：
代码块
$ python cli_demo.py --prompt "A girl riding a bike." --model_path THUDM/CogVideoX-5b
请注意，您需要在这将THUDM/CogVideoX-5b 替换您自己的本地路径。
生成视频
根据文本提示生成视频的核心函数，使用num_inference_steps，guidance_scale等参数来控制视频生成过程。在加载好 CogVideoXPipeline 后，编码Prompt并且根据它生成一系列视频的画面。
参数：
prompt：生成视频的提示词
model_path： 预训练模型路径
output_path： 生成视频保存路径
num_inference_steps： 模型在推理过程中的步数，步数越多，生成的视频质量越好，但是计算时间更长。
guidance_scale ： 用于控制视频生成过程中使用的指导强度，较高的值会使生成的视频更贴近所提供的提示，更加逼真度，但降低了视频的创造性。
num_videos_per_prompt： 为每个prompt生成的视频数量，可以根据一个文本提示生成多个相似的视频。
dtype： 计算数据类型，默认使用 torch.float16（半精度）以减少内存使用并加快计算速度。
代码块
import argparse
import torch
from diffusers import CogVideoXPipeline, CogVideoXDDIMScheduler, CogVideoXDPMScheduler
from diffusers.utils import export_to_video
def generate_video(
prompt: str,
model_path: str,
output_path: str = "./output.mp4",
num_inference_steps: int = 50,
guidance_scale: float = 6.0,
num_videos_per_prompt: int = 1,
dtype: torch.dtype = torch.bfloat16,
):
"""
Generates a video based on the given prompt and saves it to the specified path.
Parameters:
- prompt (str): The description of the video to be generated.
- model_path (str): The path of the pre-trained model to be used.
- output_path (str): The path where the generated video will be saved.
- num_inference_steps (int): Number of steps for the inference process. More steps can result in better quality.
- guidance_scale (float): The scale for classifier-free guidance. Higher values can lead to better alignment with the prompt.
- num_videos_per_prompt (int): Number of videos to generate per prompt.
- dtype (torch.dtype): The data type for computation (default is torch.bfloat16).
"""
加载预训练模型
以指定精度（bfloat16）加载预训练的 CogVideoXPipeline。在 from_pretrained 函数中添加 device_map=“balanced”，并移除 enable_model_cpu_offload() 函数以使用多 GPU。
代码块
# 1. Load the pre-trained CogVideoX pipeline with the specified precision (bfloat16).
# add device_map="balanced" in the from_pretrained function and remove the enable_model_cpu_offload()
# function to use Multi GPUs.
pipe = CogVideoXPipeline.from_pretrained(model_path, torch_dtype=dtype)