一 模型介绍

AudioFly 是一个音频生成模型。它根据文本描述合成音效。该模型可以以 44.1 kHz 的采样率生成高质量音频。生成的音频与提示文本有很强的一致性。

AudioFly 采用了潜在扩散模型架构。该模型拥有 10 亿个参数，并在大量多样化的语料库上进行了训练。训练数据包括开源数据集，如 AudioSet、AudioCaps 和 TUT，以及专有的内部数据。该模型在单一事件和多事件场景中表现良好。在这两种情况下，生成的音频都能准确反映所描述的内容。在 AudioCaps 数据集上，AudioFly 的性能优于之前的音频生成模型。

评估结果

实验结果基于 AudioCaps 数据集报告。对于基线模型，我们复用了 STABLE AUDIO OPEN 的评估结果。我们遵循相同的评估方法以确保一致性。评估结果如下所示。

二 模型部署

1.下载模型及文件

下载地址：https://modelscope.cn/models/iflytek/AudioFly/files

下载命令

pip install modelscope
modelscope download --model iflytek/AudioFly

2.安装环境

cd iflytek/AudioFly
pip install -r requirements.txt 
export PYTHONPATH=/path/to/AudioFly:$PYTHONPATH

3.快速开始

import yaml
import torch
from ldm.utils.util import instantiate_from_config


configs = yaml.load(open('./config/config.yaml', "r"), Loader=yaml.FullLoader)
model = instantiate_from_config(configs["model"])

checkpoint = torch.load('./models/ldm/model.ckpt')
model.load_state_dict(checkpoint, strict=False)
model.eval()
model = model.cuda()
text = 'Fierce winds howl through the valley' 
name = 'result'
savedir = './result'
model.generate_sample(
        textlist=[text],
        name=name,
        cfg=3.5,# Guidance scale (controls how strongly generation follows the text prompt）; not recommended to change
        ddim_steps=200,  # Number of denoising steps in the diffusion process; not recommended to change
        outputdir=f"{savedir}")

点击此处，立即体验iflytek-AudioFly！