一、介绍

HiGen模型是一种基于扩散模型（Diffusion Model）的方法，主要用于文本到视频（Text-to-Video, T2V）的生成。该模型通过分层时空解耦（Hierarchical Spatio-temporal Decoupling）技术，从结构和内容两个层面将视频的空间内容和时间动态进行解耦，从而降低了文本到视频生成的复杂度，并提高了生成视频的现实性和多样性。

---

🚀️ 🚀️ 系统：Ubuntu22.04系统，显卡：3090，显存：24G🚀️ 🚀️

二、基础环境

• 查看系统是否有Miniconda3的虚拟环境

 conda -V

如果输入命令没有显示Conda版本号，则需要安装。

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟Python环境

• 创建一个名为"higen"的虚拟镜像，python版本为3.8

conda create -n higen python=3.8 -y

• 激活"higen"虚拟环境

conda activate higen

4.下载模型

输入下列命令对VGen模型进行下载

git clone https://gitclone.com/github.com/ali-vilab/VGen.git
cd VGen

5.下载模型依赖包

避免出现报错进入requirements.txt文档中将第22行改为triton==2.0.0：

输入下列命令：

pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

耐心等待直到”Successfully“出现

6.更新系统和下载其他依赖包

输入下列命令：

apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

7.下载权重文件

新建终端（本人下载到其他盘符然后复制到模型文件下，您可以就在当前目录下运行输入的命令）：

cd /root/sj-tmp
pip install modelscope

输入：

python
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('iic/HiGen', cache_dir='models/')

8.运行模型

输入下列命令：

python inference.py --cfg configs/higen_infer.yaml

pip install diffusers==0.27.2

点击此处，立即体验HiGen！