Open-LLM-VTuber 是一个集成了 Live2DAI 虚拟形象并支持语音聊天对话的项目。

一、介绍

随着虚拟现实技术和网络直播的快速发展，虚拟主播（VTuber）逐渐成为了一个新兴的文化现象。Open-LLM-VTuber 项目旨在通过开源的方式，为更多人提供创建和体验虚拟主播的机会，降低技术门槛，推动虚拟主播文化的普及和发展。

项目地址：https://github.com/t41372/Open-LLM-VTuber?tab=readme-ov-file

二、容器构建说明

建议使用 RTX3060 及以上显卡 。

1. 安装 miniconda

进入 Anaconda 官网：

Miniconda — Anaconda 文档

找到快速命令行安装，选择 Linux 系统，复制代码进入终端进行安装。

等待安装完成。

2. 安装并更新基础命令，让后续使用更快捷： unzip、lsof、git、git-lfs

apt-get update
apt-get install -y unzip
apt-get install -y lsof
apt-get install -y git
apt-get install -y git-lfs

3. 克隆项目仓库，并打开文件

git clone https://github.com/t41372/Open-LLM-VTuber.git
cd /Open-LLM-VTuber/

4. 创建 python 为 3.10.4 版本的虚拟环境，名称为 szr

conda create -n szr python="3.10.4" -y

5. 激活虚拟环境

conda activate szr

6. 安装项目依赖文件

pip install -r requirements.txt
sudo apt-get update
sudo apt-get install -y ffmpeg

7.下载ollama

pip install modelscope
git clone https://www.modelscope.cn/modelscope/ollama-linux.git
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

8.手动启动ollama

cd /usr/local/bin/
ollama serve

从日志信息中可以看出，ollama serve 命令已经成功启动了 Ollama 服务并监听在 127.0.0.1:11434 端口。这些日志内容包括一些配置信息以及关于 Ollama 服务运行环境的设置，说明服务器正在识别 GPU 设备并初始化配置。

9.重开窗口，通过ollama下载相应模型

选择模型不同参数大小，复制命令，等待下载

下载完成

10.安装ASR（自动语音识别）模型（此处使用funASR）

pip install -U funasr modelscope huggingface_hub
pip install torch torchaudio

耐心等待

11.安装TTS（文本到语音合成）（此处使用edge-tts免费）

pip install edge-tts

12.修改配置文件

打开/Open-LLM-VTuber/conf.yaml

选择ASR（自动语音识别）模型，没有gpu时选用FunASR不用api密钥比较方便。有gpu时选用Faster-Whisper，或者根据需要选择其他

选择TTS模型，这里选用edgeTTS免费。

打开/Open-LLM-VTuber/server.py

最后一排可用来更改端口，若为本机则直接运行python server.py

运行成功点击网址即可访问

若为远程服务器，则不支持HTTPS协议，是不支持使用·麦克风功能的，可以通过本地私密访问ssh工具开放端口，进行本地使用。

点击此处，立即体验Open-LLM-VTuber！