一、简介

Seed-X-PPO-7B 是强大的开源多语言翻译语言模型，表现出业界领先的翻译能力，与或优于 Gemini-2.5、Claude-3.5 和 GPT-4 等超大型模型，这一优势已通过人工评

估和自动指标得到验证。在一个涵盖互联网、科学技术、办公对话、电子商务、生物医药、金融、法律、文学和娱乐等多元领域的极具挑战性的翻译测试集上表现出色。

注：Seed-X-PPO 模型是Seed-X-7B模型的强化学习模型，其翻译性能优于 Seed-X-7B

二、环境部署

1.基础环境

4090*1，Ubuntu:22.04，cuda12.4.1

2.使用vllm 推理

创建环境：

conda create -n seed python=3.12 -y
conda activate seed

安装特定版本的vllm和transformers：

pip install vllm==0.8.0 transformers==4.51.3

3.模型下载

从 modelscope 下载模型：

modelscope download --model ByteDance-Seed/Seed-X-PPO-7B --local_dir ByteDance-Seed/Seed-X-PPO-7B

通过软链接从数据社区调用模型：

ln -s /root/sj-data/LargeModel/TextGeneration/ByteDance-Seed/Seed-X-PPO-7B/ Seed-X-PPO-7B

4.vLLM 推理服务

vllm serve Seed-X-PPO-7B/ --served-model-name Seed-X-PPO-7B --tensor-parallel-size 1 --max-num-seqs 512 --enable-prefix-caching  --gpu-memory-utilization 0.95

出现以下内容说明vllm 服务启动成功：

5.webui

使用huggingface ByteDance-Seed/Seed-X Spaces的代码：

git clone https://huggingface.co/spaces/ByteDance-Seed/Seed-X

pip install gradio spaces
python /Seed-X/app.py

然后修改其中的 app.py 代码：

1、修改成调用openai 接口服务；

2、模型连接状态检测；

3、调整webui的界面；

三、Nginx 代理8080端口

为了实现webui使用和vllm api 端点使用，可以使用Nginx 代理共享 8080 端口；

1.安装Nginx

apt update && apt-get install nginx -y
nginx -v
sudo nginx

2.创建配置文件

/etc/nginx/conf.d/vllm_proxy.conf

# 定义上游服务器组
upstream api_server {
    server 127.0.0.1:8000;
}

upstream webui_server {
    server 127.0.0.1:8081;  # 修改为WebUI实际运行的端口
}

server {
    listen 8080;
    server_name localhost;  # 或者您的域名
  
    # 根路径代理到WebUI服务
    location / {
        proxy_pass http://webui_server/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
  
        # 支持HTTP/1.1和WebSocket
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
  
        # 关闭缓冲以支持流式响应
        proxy_buffering off;
        proxy_request_buffering off;
    }
  
    # 代理到8000端口（api）的所有端点
    location /api/ {
        proxy_pass http://api_server/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
  
        # 支持HTTP/1.1和WebSocket
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
  
        # 关闭缓冲以支持流式响应
        proxy_buffering off;
        proxy_request_buffering off;
    }
  
    # 健康检查端点
    location /health {
        add_header Content-Type application/json;
        return 200 '{"status":"OK","api":"http://localhost:8080/api/","webui":"http://localhost:8080/"}';
    }
  
    # 错误页面
    error_page 502 503 504 /50x.html;
    location = /50x.html {
        root /usr/share/nginx/html;
    }
  
    # 访问日志
    access_log /var/log/nginx/vllm_access.log;
    error_log /var/log/nginx/vllm_error.log;
}

3.重新加载Nginx 配置

sudo nginx -t && sudo nginx -s reload

4.测试调用情况

本地调用：

curl http://localhost:8080/health

浏览器调用，平台开启链接：

vllm 服务模型调用测试：

http://xn-a.suanjiayun.com:64904/api/v1/models

webui界面显示：

http://xn-a.suanjiayun.com:64904/

四、错误及解决

1.vllm 启动出错：

vllm 版本与 transformers 版本不匹配

解决方法：使用特定的版本 vllm==0.8.0, transformers==4.51.3