一、模型介绍

Qwen3-Omni 是一个原生端到端多语言全模态基础模型。它处理文本、图像、音频和视频，并以文本和自然语音形式提供实时流式响应。我们引入了多项架构升级，以提高性能和效率。主要特点：

• 跨模态的最先进技术 ：早期以文本为主的预训练和混合多模态训练提供了原生多模态支持。在实现强大的音频和音视频结果的同时，单模态文本和图像性能没有退化。在 36 个音频/视频基准测试中的 22 个上达到 SOTA，在 36 个中的 32 个上达到开源 SOTA；ASR、音频理解和语音对话性能与 Gemini 2.5 Pro 相当。
• 多语言 ：支持 119 种文本语言，19 种语音输入语言和 10 种语音输出语言。
  • 语音输入 ：英语、中文、韩语、日语、德语、俄语、意大利语、法语、西班牙语、葡萄牙语、马来语、荷兰语、印度尼西亚语、土耳其语、越南语、粤语、阿拉伯语、乌尔都语。
  • 语音输出 ：英语、中文、法语、德语、俄语、意大利语、西班牙语、葡萄牙语、日语、韩语。
• 新颖的架构 ：基于 MoE 的思考者-说话者设计，通过 AuT 预训练获得强大的通用表示，加上多码本设计，将延迟降至最低。
• 实时音频/视频交互 ：低延迟流媒体，具有自然的轮流发言和即时文本或语音响应。
• 灵活控制 ：通过系统提示自定义行为，实现细粒度控制和轻松适应。
• 详细的音频字幕生成器 ：Qwen3-Omni-30B-A3B-Captioner 现已开源：这是一个通用的、高度详细的、低幻觉的音频字幕生成模型，填补了开源社区的一个关键空白。

Qwen3-Omni-30B-A3B-Instruct 是阿里通义千问团队在 2025 年 9 月 22 日发布的“全模态”MoE 大模型，核心定位是“能看、能听、能说”的端到端多模态助手。其模型介绍可概括为以下五点：

1. Thinker-Talker MoE 双体架构
   • Thinker：30B-A3B MoE，仅激活约 3B 参数，负责跨模态理解、推理与文本生成。
   • Talker：3B-A0.3B MoE，激活约 0.3B 参数，采用多码本离散语音建模，实时合成自然语音。
   • 辅以 650M 音频编码器、540M 视觉编码器、80M 轻量解码器及 200M Code2wav 声码器，端到端首包延迟最低 234 ms（冷启动）。
2. Any-to-Any 交互
   同时接收文本、图像、音频、视频任意组合输入，可输出文本或自然语音，实现真正的“全模态”对话体验。
3. 多语言、低延迟、可流式
   文本侧支持 119 种语言，语音输入 19 种、输出 10 种（含粤语等方言）；流式推理模式下可边思考边说话，适合语音助手、实时翻译、视频问答等场景。
4. 开源三兄弟，角色分明
   • Instruct 版：Thinker+Talker 完整形态，支持“视听输入 + 文本”。
   • Thinking 版：仅保留 Thinker，专注高复杂多模态推理，输出纯文本。
   • Captioner 版：在 Instruct 基础上微调，专精“音频 → 精细字幕”，幻觉更低。
5. 性能与落地
   在 36 项音视频基准中拿下 32 项开源 SOTA、22 项总榜 SOTA；官方提供 vLLM 推理脚本、Docker 镜像与 Gradio Demo，可在单台 A100 80GB 上完成实时部署。

二、模型部署

基础环境最低配置推荐

环境名称	版本信息
Ubuntu	22.04.4 LTS
Python	3.10.16
CUDA	11.8
NVIDIA Corporation	RTX 4090 * 4

1.更新基础软件包、配置镜像源

查看系统版本信息

#查看系统的版本信息，包括 ID（如 ubuntu、centos 等）、版本号、名称、版本号 ID 等
cat /etc/os-release

更新软件包列表

#更新软件列表
apt-get update

配置国内镜像源（阿里云）

具体而言，vim 指令编辑文件 sources.list

#编辑源列表文件
vim  /etc/apt/sources.list

按 “i” 进入编辑模式，将如下内容插入至 sources.list 文件中

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

最后，按 "esc" 键退出编辑模式，输入 :wq 命令并按下 “enter” 键便可保存并退出 sources.list 文件

2.创建虚拟环境

创建虚拟环境

#创建名为Qwen-Image的虚拟环境，python版本：3.10
conda create -n Qwen3_Omni python=3.10

激活虚拟环境

conda activate Qwen3_Omni

3.克隆项目

github(QwenLM/Qwen3-Omni：Qwen3-omni 是由阿里云 Qwen 团队开发的原生端到端、全模态 LLM，能够理解文本、音频、图像和视频，以及实时生成语音。）中克隆项目代码文件至该目录

git clone https://github.com/QwenLM/Qwen3-Omni.git

4.下载依赖

安装Transformers框架及accelerate库

pip install git+https://github.com/huggingface/transformers
pip install accelerate

安装官方提供的工具包

pip install qwen-omni-utils -U

安装flash-attn以减少 GPU 内存使用（但是，如果您主要使用 vLLM 进行推理，则不需要进行此安装）

pip install -U flash-attn --no-build-isolation

安装本地 Web UI 演示的依赖库

pip install gradio==5.44.1 gradio_client==1.12.1 soundfile==0.13.1

5.模型下载

转到魔塔社区官网下载模型文件：通义千问 3-Omni-30B-A3B-Instruct · 模型库

使用命令行下载完整模型库

#在下载前，请先通过如下命令安装
pip install modelscope

#命令行下载（下载至当前文件夹）
modelscope download --model 'Qwen/Qwen3-Omni-30B-A3B-Instruct' --local_dir './'

三、web 页面启动

安装所需的软件包后，您可以使用以下命令启动 Web 演示。这些命令将启动 Web 服务器，并为您提供在 Web 浏览器中访问 UI 的链接。您可以运行并了解更多选项。python web_demo.py --help``python web_demo_captioner.py --help

# For Qwen3-Omni-30B-A3B-Instruct with vLLM backend
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Instruct
# For Qwen3-Omni-30B-A3B-Instruct with Transformers backend
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Instruct --use-transformers --generate-audio
# For Qwen3-Omni-30B-A3B-Instruct with Transformers backend and FlashAttention support
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Instruct --use-transformers --generate-audio --flash-attn2

# For Qwen3-Omni-30B-A3B-Thinking with vLLM backend
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Thinking
# For Qwen3-Omni-30B-A3B-Thinking with Transformers backend
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Thinking --use-transformers
# For Qwen3-Omni-30B-A3B-Thinking with Transformers backend and FlashAttention support
python web_demo.py -c Qwen/Qwen3-Omni-30B-A3B-Thinking --use-transformers --flash-attn2

# For Qwen3-Omni-30B-A3B-Captioner with vLLM backend
python web_demo_captioner.py -c Qwen/Qwen3-Omni-30B-A3B-Captioner
# For Qwen3-Omni-30B-A3B-Captioner with Transformers backend
python web_demo_captioner.py -c Qwen/Qwen3-Omni-30B-A3B-Captioner --use-transformers
# For Qwen3-Omni-30B-A3B-Captioner with Transformers backend and FlashAttention support
python web_demo_captioner.py -c Qwen/Qwen3-Omni-30B-A3B-Captioner --use-transformers --flash-attn2

运行命令后，你会在终端中看到一个类似于以下内容的链接：

Running on local: http://127.0.0.1:8901/

如果您在本地运行，请复制此链接并将其粘贴到浏览器中以访问 Web UI。如果您在服务器或容器中运行，请根据服务器的实际 IP 配置地址，或在必要时设置端口转发。