一、模型介绍

MiniGPT-4 拥有许多与 GPT-4 类似的功能，例如详细的图像描述生成和从手写草稿创建网站。此外，还观察到 MiniGPT-4 中的其他新兴功能，包括根据给定的图像创作故事和诗歌、为图像中显示的问题提供解决方案、根据食物照片教用户如何烹饪等。在实验中，发现仅对原始图像文本对进行预训练会产生不自然的语言输出，这些输出缺乏连贯性，包括重复和碎片化的句子。为了解决这个问题，在第二阶段整理了一个高质量、对齐良好的数据集，以使用对话模板对我们的模型进行微调。事实证明，这一步骤对于增强模型的生成可靠性和整体可用性至关重要。

二、容器构建

1. 克隆及环境准备

• 克隆

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4

• 创建虚拟环境

conda env create -f environment.yml
conda activate minigptv

2. 准备预训练的 LLM 权重

MiniGPT-4 ，有 Vicuna V0 和 Llama 2 版本。通过使用 git-lfs 克隆存储库，从以下 huggingface 空间下载相应的 LLM 权重。

Vicuna V0 7B 下载

• modelscope

git lfs install

git clone https://www.modelscope.cn/AI-ModelScope/Vicuna-7B.git

• huggingface

git lfs install

git clone https://huggingface.co/Vision-CAIR/vicuna-7b

Llama 2 Chat 7B 下载

• modelscope

git lfs install

git clone https://www.modelscope.cn/shakechen/Llama-2-7b-chat-hf.git

• huggingface

git lfs install

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

然后，将模型配置文件中的变量 llama_model 设置为 LLM 权重路径。

• 对于 MiniGPT-4（Llama2），在第 15 行设置 LLM 路径 。
• 对于 MiniGPT-4 (Vicuna)，在第 18 行设置 LLM 路径

3. 准备预训练模型检查点

MiniGPT-4（小羊驼 13B）	MiniGPT-4（小羊驼 7B）	MiniGPT-4（LLaMA-2 聊天 7B）
下载	下载	下载

在 eval_configs/minigpt4_eval.yaml中的评估配置文件第 8 行（对于 Vicuna 版本）或eval_configs/minigpt4_llama2_eval.yaml（对于 LLama2 版本）中设置预训练检查点的路径。

4.本地启动演示

对于 MiniGPT-4（Vicuna 版本），运行

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

对于 MiniGPT-4 (Llama2 版本)，运行

python demo.py --cfg-path eval_configs/minigpt4_llama2_eval.yaml  --gpu-id 0

为了节省 GPU 内存，LLM 默认加载为 8 位，波束搜索宽度为 1。此配置需要大约 23G GPU 内存（13B LLM）和 11.5G GPU 内存（7B LLM）。对于更强大的 GPU，您可以通过在相关配置文件中 low_resource 设置为以 16 位运行模型：False

• MiniGPT-4（Llama2）：minigpt4_llama2_eval.yaml
• MiniGPT-4（骆驼毛）：minigpt4_eval.yaml

进入页面如下：

点击此处，立即体验MiniGPT-4！