模型部署arrowPic DISC-LawLLM 模型部署教程
DISC-LawLLM 模型部署教程
发布时间:2025-02-24 11:02:19

一、介绍

DISC-LawLLM是一个专注于司法领域的大模型,由复旦大学数据智能与社会计算实验室(Fundan DISC)开发。它具备通用的大语言模型能力,同时也具备司法领域的专业技能。DISC-LawLLM可以为用户提供法律相关的回答和帮助,包括法律咨询、司法信息抽取、罪名预测、司法摘要、文书起草、类案检索等。该模型具有准确性高、专业性强、效率快的特点,能够满足用户在司法领域的各种需求。

二、部署流程

环境推荐配置

系统:Ubuntu22.04,

显卡:4090,

显存:24G,cuda11.8
(在部署完成进行对话时一张卡回答得很慢,建议使用两张)

1. 基础环境

查看系统是否有Miniconda3的虚拟环境

conda -V

如果输入命令没有显示Conda版本号,则需要安装。
1733121521985_image.png

2.更新系统命令

输入下列命令将系统更新及系统下载

apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

1733121540798_image.png

3.创建虚拟环境

创建名称为“DISC-LawLLM”的虚拟环境并激活

conda create -n DISC-LawLLM python==3.8 -y

1736147476517_0241227163004.png

4.下载模型

输入下列命令下载DISC-LawLLM模型同时进入项目中

git clone https://gitclone.com/github.com/FudanDISC/DISC-LawLLM.git
cd DISC-LawLLM

1736147570074_20241227170559.png

5.下载模型依赖包

输入下列命令:

pip install -r requirements.txt

建议使用这行命令,提升下载速度:

pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

1736148680007_20250106152718.png

三、网页演示

在本地运行streamlit应用程序,使用下列命令运行项目呈现模型的成功界面

streamlit run web_demo.py --server.port 8080 --server.address 0.0.0.0

1736147844335_20250106151701.png

打开网址:

1736147860875_20250106144737.png

点击此处,立即体验DISC-LawLLM!

bg-circle
算力加速·赋能科研
2026闲时计算资源公益助研活动进行中
2026年1月1日-2026年12月31
立即申请
新人好礼
客服中心