简介

QwQ 是 Qwen 级数的推理模型。与传统的指令调优模型相比，能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能，尤其是难题。QwQ-32B 是中型推理模型，能够实现与最先进的推理模型（如 DeepSeek-R1、o1-mini）相比的竞争性能。

此存储库包含 QwQ 32B 模型 ，该模型具有以下特点：

类型：因果语言模型
训练阶段：预训练和后训练（监督微调和强化学习）
架构：具有 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的变压器
参数数量：32.5B
参数数（非嵌入）：31.0B
层数： 64
注意头数（GQA）：Q 为 40 个，KV 为 8 个
上下文长度：完整 131,072 个令牌
- 对于长度超过 8,192 个令牌的提示，您必须启用 YaRN，如本节所述。

1、安装 ollama

运行命令进行安装：

curl -fsSL https://ollama.com/install.sh | sh

设置模型下载地址、开放 ip 及端口：

（可选）如有模型地址更改需求，可用下命令：

export OLLAMA_MODELS=/root/sj-tmp/ollama/models

设置 ip 地址及端口：

export OLLAMA_HOST=0.0.0.0:8080

然后记得通过 vim /root/.bashrc 写入文件

2、运行 ollama

直接运行：

ollama serve

等待运行成功后，可以在另一个终端通过 api 访问：

curl http://127.0.0.1:8080/api/tags

持久运行（后台模式）

如果你需要 ollama 在后台运行，可以使用：

nohup ollama serve > ollama.log 2>&1 &

或者使用 tmux / screen 来保持会话。

3、下载并启动 QWQ 模型

ollama run qwq:32b-fp16

等待下载完成后，可以直接进行对话：

如何 api 调用？

可以使用 PowerShell 或 Python 访问它。

✅ PowerShell

如果你想在 PowerShell 里 调用 ollama run qwq:32b-fp16 进行推理 ：

Invoke-RestMethod -Uri "http://192.168.1.100:8080/api/generate" -Method Post -Body (@{model="ollama run qwq:32b-fp16"; prompt="你好，介绍一下自己"} | ConvertTo-Json -Depth 10) -ContentType "application/json"

✅ Python

如果你想在 Python 里调用 ：

import requests 
import json 
url = "http://127.0.0.1:8080/api/generate" 
data = { 
"model": "qwq:32b-fp16", 
"prompt": "在数学中，3.11 和 3.8 谁大？请给出详细分析。", 
} 
response = requests.post(url, json=data) 
# 存储最终的文本结果 
text_output = "" 
# 逐行解析 JSON 
for line in response.text.strip().split("\n"): 
try: 
json_data = json.loads(line) # 解析每一行 JSON 
if "response" in json_data: 
text_output += json_data["response"] # 拼接文本 
if json_data.get("done", False): # 检查是否完成 
break 
except json.JSONDecodeError as e: 
print("JSON 解析错误:", e) 
print("最终结果:", text_output)