问题描述:

提取文本Bert特征5.16it/s,如何提升处理速度

配置信息:

device : cuda
is_half : True
version : v2
t2s_weights_path : GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt
vits_weights_path : GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
bert_base_path : GPT_SoVITS/pretrained_models/chinese-roberta-wwm-ext-large
cnhuhbert_base_path : GPT_SoVITS/pretrained_models/chinese-hubert-base
并行推理模式已开启
分桶处理模式已开启

环境信息:

CPU :Intel(R) Xeon(R) Platinum 8336C CPU @ 2.30GHz
GPU :NVIDIA A2 16GB
MEM :64GB

部署方式:

源码运行

API访问参数:

{
'text': '中国大陆一共有31个省份啦！',
'text_lang': 'zh',
'ref_audio_path': '/tmp/renzhichu_peiqi.wav',
'aux_ref_audio_paths': [],
'prompt_text': '人之初，性本善。性相近，习相远。',
'prompt_lang': 'zh',
'top_k': 5,
'top_p': 1.0,
'temperature': 1.0,
'text_split_method': 'cut0',
'batch_size': 1,
'batch_threshold': 0.75,
'split_bucket': True,
'return_fragment': False,
'speed_factor': 1.0,
'streaming_mode': False,
'seed': -1,
'parallel_infer': True,
'repetition_penalty': 1.35
}