一、 大模型 ChatGLM4 简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

二、大模型 ChatGLM4 一键使用

基础环境最低要求说明：

环境名称	版本信息 1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.10.8
NVIDIA Corporation	RTX 3090

1. 根据需求选择主机和镜像，进行一键创建实例

租用实例 --》一键使用 --》进入“应用社区”--》搜索并选择“ChatGLM4” 大模型 --》选择 RTX 3090 GPU ，即可在平台进行实例创建。

2. 进入网页端命令行

项目实例 --》点击“WebSSH”--》执行“启动 web 页面”的相关命令

3. 启动 web_demo.py 文件

# 切换到项目工作目录
cd /ChatGLM4/basic_demo

# 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4

# 运行 trans_web_demo.py 文件
python trans_web_demo.py

4. 获取端口号

5. 进入 web 页面

将获取到的链接复制到本地浏览器：

# 比如当前获取的地址如下：
http://hn-a.suanjiayun.com:31909

三、大模型 ChatGLM4 微调步骤

1. 结束当前运行（按键盘上的 Ctrl + C）

2. 从 github 仓库 克隆项目

• 克隆存储库：

#拉取代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

出现以上页面即是克隆项目成功！

请注意，如果 git clone https://github.com/hiyouga/LLaMA-Factory.git 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

3. 安装模型依赖库

• 切换到项目目录、激活 ChatGLM4 虚拟环境、安装依赖

#切换到之前创建好的 ChatGLM4 环境
conda activate ChatGLM4

#切换到LLaMA-Factory根目录
cd LLaMA-Factory

#安装项目依赖
pip install -e ".[torch,metrics]"

等待安装完成

4. 启动 webui.py 文件

注意这里需要在 LLaMA-Factory 的根目录启动

# 启动 webui.py 文件
python src/webui.py

需要设置 Gradio 服务器名称和端口

# 设置 Gradio 服务器名称和端口
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080

# 启动 webui.py 文件
python src/webui.py

启动端口后就可以访问微调页面了页面如下：

5. 微调页面操作步骤

5.1 语言切换

5.2 选择微调模型

5.3 加载本地模型的文件路径

5.4 . 准备数据集

• 复制以下路径进入 算家云文件管理 页面，并打开 identity.json 文件

/ChatGLM4/basic_demo/LLaMA-Factory/data/

• 按照以下数据格式进行数据替换

5.5 选择数据

5.6 开始微调模型

出现以上问题，需要安装 deepspeed 依赖

# 安装 deepspeed 依赖
pip3 install deepspeed

等待安装完成

再次启动 webui.py 文件，开始微调模型

# 启动 webui.py 文件
python src/webui.py

5.7 微调过程展示

• web 页面

• 命令行

5.8 训练完成

5.9 模型验证

• 选择模型检查点

• 选择数据集

• 开始执行验证模型

• 等待执行完成

5.10 模型加载

• 加载模型检查点

• 输入文本，进行对话
  

5.11 模型合并

• 加载保存导出模型的文件夹路径

• web 完成页面

• 命令行完成页面

四、大模型 ChatGLM4 微调调用

1. 编辑 web_demo.py 文件

# 切换到项目工作目录
cd /ChatGLM4/basic_demo

# 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4

# 编辑 trans_web_demo.py 文件
vim trans_web_demo.py

找到以上模型路径，替换为刚刚保存的路径

/root/sj-tmp/GLM-4-9B-Chat-0920-2

2. 启动 web_demo.py 文件

# 切换到项目工作目录
cd /ChatGLM4/basic_demo

# 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4

# 运行 trans_web_demo.py 文件
python trans_web_demo.py

3. 访问端口，进行模型测试

测试结果如下

点击此处，立即体验ChatGLM4！