一、介绍

Qwen2.5-Coder 是最新的代码专用 Qwen 大型语言模型系列（以前称为 CodeQwen）。截至目前，Qwen2.5-Coder 已覆盖六个主流模型大小，分别为 0.5、1.5、3、7、14 和 32 十亿参数，以满足不同开发人员的需求。与 CodeQwen1.5 相比，Qwen2.5-Coder 带来了以下改进：

• 在 代码生成 、代码推理和代码修复方面有显著提升。基于强大的 Qwen2.5，我们将训练令牌扩展到 5.5 万亿，包括源代码、文本-代码接地、合成数据等。Qwen2.5-Coder-32B 成为了当前最先进的开源代码 LLM，其编码能力可与 GPT-4o 匹敌。
• 为代码代理等实际应用提供了更全面的基础。不仅增强了编码能力，还保持了在数学和通用能力方面的优势。
• 长上下文支持高达 128K 令牌。

此仓库包含指令微调的 32B Qwen2.5-Coder 模型 ，具有以下特点：

• 类型：因果语言模型
• 训练阶段：预训练 & 后训练
• 架构：带 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的 transformers
• 参数数量：32.5B
• 非嵌入参数数量：31.0B
• 层数：64
• 注意力头数（GQA）：Q 为 40，KV 为 8
• 上下文长度：完整的 131,072 令牌
  • 有关如何部署 Qwen2.5 以处理长文本的详细说明，请参阅这一部分。

二、部署过程

基础环境最低要求说明：

环境名称	版本信息1
Ubuntu	22.04.4 LTS
Cuda	V12.1.1
Python	3.11
NVIDIA Corporation	RTX 4090D *4

1.构建基础镜像Miniconda-Ubuntu-22.04-cuda12.1.1

2.从 github 仓库 克隆项目：

# 克隆Qwen2.5-coder项目(如果克隆速度过慢可以开启学术代理加速)
git clone https://github.com/QwenLM/Qwen2.5-Coder.git

3.创建虚拟环境

# 创建一个名为 Qcoder的新虚拟环境，并指定 Python 版本为 3.11
conda create -n Qcoder python=3.11 -y

4.安装模型依赖包

激活MiniCPM4，并进入到MiniCPM目录中，安装 requirements.txt 依赖。

# 切换到项目工作目录
cd Qwen2.5-Coder/

# 激活 Qcoder 虚拟环境
conda activate Qcoder

# 在 Qcoder 环境中安装 requirements.txt 依赖
pip install -r requirements.txt

5.下载预训练模型

预训练模型太大需要放到数据社区

1.安装 modelscope 依赖包。

pip install modelscope

2.创建一个Python下载脚本

vim modelscope_download.py

3.插入以下下载代码

# Python 代码下载模型
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-Coder-32B-Instruct', cache_dir='./', revision='master')

保存文件：Esc --》Shift + ：--》输入英文的 ：--》输入：wq

• 如果你正在编辑文本，先按 Esc 键退出插入模式。
• 然后，直接按 Shift + :（不需要先按冒号，这个组合键已经包含了冒号的输入），屏幕上会出现一个冒号，提示你输入命令。
• 接着，输入 wq，表示你想要保存文件并退出。
• 最后，按 Enter 键执行命令。

4.执行 modelscope_download.py 文件进行模型下载

python modelscope_download.py

5.模型文件下载到数据社区后，随即进入到Qwen2.5-coder文件夹里面，找到demo文件夹进入到里面更改app.py

cd demo
cd artifacts
pip install -r requirements.txt

因为app.py中的代码是在线使用huggingface中的在线模型，所以需要重写app.py文件去调用本地下载好的模型文件

修改端口：

安装必要的包

最后运行app.py文件

python app.py

三、网页演示

出现以下 Gradio 页面，即是模型已搭建完成。

点击此处，立即体验Qwen2.5-Coder-32B！