模型部署arrowPic ancient-chat-llm部署教程
ancient-chat-llm部署教程
发布时间:2024-12-24 11:48:53

ancient-chat-llm 古语说 是一个能够在用户输入现代汉语后输出文言文,同时能够解答用户 关于中国文化的问题 的大模型,包括但不限于唐诗、宋词、论语等古籍,还可以让其将文言文翻译成白话文等,模型用 xtuner 在 InternLM2 的基础上指令微调而来。

image.png

二、部署流程

1. 安装miniconda

进入Anaconda官网:

Miniconda — Anaconda 文档

找到快速命令行安装,选择Linux系统,复制代码进入Web SSH中粘贴进行安装

image.png

image.png

2.创建虚拟环境

conda create -n ancient-chat-llm python=3.8
conda activate ancient-chat-llm

3.克隆项目

git clone https://github.com/PeterH0323/ancient-chat-llm.git

4.打开文件,安装依赖

cd ancient-chat-llm
pip install -r requirements.txt

5.运行模型

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python3 app.py

三、进入WebUI

屏幕截图

点击此处,立即体验ancient-chat-llm!

bg-circle
算力加速·赋能科研
2026闲时计算资源公益助研活动进行中
2026年1月1日-2026年12月31
立即申请
新人好礼
客服中心