一、模型介绍

一个统一的界面可完成许多视觉语言任务，包括图像描述、视觉问答和视觉基础等。模型引入了 MiniGPT-v2，一个模型可以被视为一个统一的界面，以更好地处理各种视觉语言任务。在训练模型时对不同的任务使用唯一的标识符。这些标识符使模型能够毫不费力地区分每个任务指令，并提高每个任务的模型学习效率。经过三阶段训练，实验结果表明，与其他视觉语言通用模型相比，MiniGPT-v2 在许多视觉问答和视觉基础基准上取得了强劲的表现。

二、容器构建

1. 克隆及环境准备

• 克隆

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4

• 创建虚拟环境

conda env create -f environment.yml
conda activate minigptv

2. 准备预训练的 LLM 权重

MiniGPT-v2 基于 Llama2 Chat 7B。

模型下载地址：https://www.modelscope.cn/models/shakechen/Llama-2-7b-chat-hf

或者运行以下代码：

git lfs install

git clone https://www.modelscope.cn/shakechen/Llama-2-7b-chat-hf.git

然后，将模型配置文件中的变量 llama_model 设置为 LLM 权重路径。

对于 MiniGPT-v2，设置 LLM 路径 这里位于第 14 行。

3.下载预训练模型检查点

在评估配置文件中设置预训练检查点的路径eval_configs/minigptv2_eval.yaml位于第 8 行。

4.本地启动演示

python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml  --gpu-id 0

为了节省 GPU 内存，LLM 默认加载为 8 位，波束搜索宽度为 1。此配置需要大约 23G GPU 内存（13B LLM）和 11.5G GPU 内存（7B LLM）。对于更强大的 GPU，您可以通过在相关配置文件中 low_resource 设置为以 16 位运行模型：False

• MiniGPT-v2：minigptv2_eval.yaml

进入页面如下：

点击此处，立即体验MiniGPT-V2！